人工智能——微笑表情分类、口罩识别

一、人脸特征提取方法

1、HOG

方向梯度直方图（Histogram of Oriented Gradient, HOG）特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子。HOG特征通过计算和统计图像局部区域的梯度方向直方图来构成特征。

HOG特征提取步骤如下：
1）色彩和伽马归一化
为了减少光照因素的影响，首先需要将整个图像进行规范化（归一化）。在图像的纹理强度中，局部的表层曝光贡献的比重较大，所以，这种压缩处理能够有效地降低图像局部的阴影和光照变化。
2）计算图像梯度
计算图像横坐标和纵坐标方向的梯度，并据此计算每个像素位置的梯度方向值；求导操作不仅能够捕获轮廓，人影和一些纹理信息，还能进一步弱化光照的影响。
最常用的方法是：简单地使用一个一维的离散微分模板在一个方向上或者同时在水平和垂直两个方向上对图像进行处理，更确切地说，这个方法需要使用滤波器核滤除图像中的色彩或变化剧烈的数
3）构建方向的直方图
细胞单元中的每一个像素点都为某个基于方向的直方图通道投票。
投票是采取加权投票的方式，即每一票都是带有权值的，这个权值是根据该像素点的梯度幅度计算出来。可以采用幅值本身或者它的函数来表示这个权值，实际测试表明： 使用幅值来表示权值能获得最佳的效果，当然，也可以选择幅值的函数来表示，比如幅值的平方根、幅值的平方、幅值的截断形式等。细胞单元可以是矩形的，也可以是星形的。直方图通道是平均分布在0-1800（无向）或0-3600（有向）范围内。经研究发现，采用无向的梯度和9个直方图通道，能在行人检测试验中取得最佳的效果。

4）将细胞单元组合成大的区间
由于局部光照的变化以及前景-背景对比度的变化，使得梯度强度的变化范围非常大。这就需要对梯度强度做归一化。归一化能够进一步地对光照、阴影和边缘进行压缩。

R-HOG
采取的办法是：把各个细胞单元组合成大的、空间上连通的区间。这样，HOG描述符就变成了由各区间所有细胞单元的直方图成分所组成的一个向量。这些区间是互有重叠的，这就意味着：每一个细胞单元的输出都多次作用于最终的描述器。
区间有两个主要的几何形状——矩形区间（R-HOG）和环形区间（C-HOG）

C-HOG
R-HOG区间大体上是一些方形的格子，它可以有三个参数来表征：每个区间中细胞单元的数目、每个细胞单元中像素点的数目、每个细胞的直方图通道数目。

5）收集HOG特征
把提取的HOG特征输入到SVM分类器中，寻找一个最优超平面作为决策函数。

2、Dlib

Dlib是一个现代化的C ++工具箱，其中包含用于在C ++中创建复杂软件以解决实际问题的机器学习算法和工具。
Dlib实现的人脸检测方法便是基于图像的Hog特征,结合支持向量机算法实现的人脸检测功能。实现步骤如下：
1 )对正样本(即包含人脸的图像)数据集提取Hog特征,得到Hog特征描述子。
2 )对负样本(即不包含人脸的图像)数据集提取Hog特征,得到Hog特征描述子;
其中,负样本数据集中样本的数量要远远大于正样本数据集中的样本数,负样本图像可以
使用不含人脸的图片进行随机裁剪获取。
3 )利用支持向量机算法训练正负样本,显然这是一个二分类问题,可以得到训练后
的模型。
4 )利用该模型进行负样本难例检测,也就是难分样本挖掘( hard-negative
mining ) ,以便提高最终模型的分类能力。具体思路为:对训练集里的负样本不断进行
缩放,直至与模板匹配为止,通过模板滑动窗口搜索匹配(该过程即多尺度检测过程),，
如果分类器误检出非人脸则截取该部分图像加入负样本中。
5 )结合难例样本重新训练模型,反复如此得到最终分类器模型。

3、卷积神经网络

卷积神经网络（ CNN）是一类包含卷积计算且具有深度结构的前馈神经网络。卷积神经网络具有表征学习（representation learning）能力，能够按其阶层结构对输入信息进行平移不变分类（shift-invariant classification）。
卷积神经网络一般分为三层：输入层、隐藏层、池化层
其中隐含层包含卷积层、池化层和全连接层3类常见构筑，在一些更为现代的算法中可能有Inception模块、残差块（residual block）等复杂构筑。在常见构筑中，卷积层和池化层为卷积神经网络特有。卷积层中的卷积核包含权重系数，而池化层不包含权重系数，因此在文献中，池化层可能不被认为是独立的层。以LeNet-5为例，3类常见构筑在隐含层中的顺序通常为：输入-卷积层-池化层-全连接层-输出。

二、微笑表情识别

1、数据集下载

2、训练数据集

（1）修改图片文件名字

#coding=gbk
import os
import sys
def rename():path=input("请输入路径(例如D:\\\\picture)：")name=input("请输入开头名:")startNumber=input("请输入开始数:")fileType=input("请输入后缀名（如 .jpg、.txt等等）:")print("正在生成以"+name+startNumber+fileType+"迭代的文件名")count=0filelist=os.listdir(path)for files in filelist:Olddir=os.path.join(path,files)if os.path.isdir(Olddir):continueNewdir=os.path.join(path,name+str(count+int(startNumber))+fileType)os.rename(Olddir,Newdir)count+=1print("一共修改了"+str(count)+"个文件")rename() 

程序运行成功：

（2）图片分类

import os, shutil #复制文件
# 原始目录所在的路径
# 数据集未压缩
original_dataset_dir1 = 'D:\\smile\\datasets\\train_folder\\1'  ##笑脸
original_dataset_dir0 = 'D:\\smile\\datasets\\train_folder\\0'  ##非笑脸
# 我们将在其中的目录存储较小的数据集
base_dir = 'D:\\smile1'
os.mkdir(base_dir)# # 训练、验证、测试数据集的目录
train_dir = os.path.join(base_dir, 'train')
os.mkdir(train_dir)
validation_dir = os.path.join(base_dir, 'validation')
os.mkdir(validation_dir)
test_dir = os.path.join(base_dir, 'test')
os.mkdir(test_dir)# 笑脸训练图片所在目录
train_cats_dir = os.path.join(train_dir, 'smile')
os.mkdir(train_smile_dir)# 非笑脸训练图片所在目录
train_dogs_dir = os.path.join(train_dir, 'unsmile')
os.mkdir(train_unsmile_dir)# 笑脸验证图片所在目录
validation_cats_dir = os.path.join(validation_dir, 'smile')
os.mkdir(validation_smile_dir)# 非笑脸验证数据集所在目录
validation_dogs_dir = os.path.join(validation_dir, 'unsmile')
os.mkdir(validation_unsmile_dir)# 笑脸测试数据集所在目录
test_cats_dir = os.path.join(test_dir, 'smile')
os.mkdir(test_smile_dir)# 非笑脸测试数据集所在目录
test_dogs_dir = os.path.join(test_dir, 'unsmile')
os.mkdir(test_unsmile_dir)# 将前1000张笑脸图像复制到train_smile_dir
fnames = ['smile.{}.jpg'.format(i) for i in range(1000)]
for fname in fnames:src = os.path.join(original_dataset_dir1, fname)dst = os.path.join(train_smile_dir, fname)shutil.copyfile(src, dst)# 将下500张笑脸图像复制到validation_smile_dir
fnames = ['smile.{}.jpg'.format(i) for i in range(500)]
for fname in fnames:src = os.path.join(original_dataset_dir1, fname)dst = os.path.join(validation_smile_dir, fname)shutil.copyfile(src, dst)# 将下500张笑脸图像复制到test_smile_dir
fnames = ['smile.{}.jpg'.format(i) for i in range(500)]
for fname in fnames:src = os.path.join(original_dataset_dir1, fname)dst = os.path.join(test_smile_dir, fname)shutil.copyfile(src, dst)# 将前1000张非笑脸图像复制到train_unsmile_dir
fnames = ['unsmile.{}.jpg'.format(i) for i in range(1000)]
for fname in fnames:src = os.path.join(original_dataset_dir0, fname)dst = os.path.join(train_unsmile_dir, fname)shutil.copyfile(src, dst)# 将下500张非笑脸图像复制到validation_unsmile_dir
fnames = ['unsmile.{}.jpg'.format(i) for i in range(500)]
for fname in fnames:src = os.path.join(original_dataset_dir0, fname)dst = os.path.join(validation_unsmile_dir, fname)shutil.copyfile(src, dst)# 将下500张非笑脸图像复制到test_unsmile_dir
fnames = ['unsmile.{}.jpg'.format(i) for i in range(500)]
for fname in fnames:src = os.path.join(original_dataset_dir0, fname)dst = os.path.join(test_unsmile_dir, fname)shutil.copyfile(src, dst)

test分类结果如下：

（3）数据分割如下

查看test、train等图片个数

print('total training cat images:', len(os.listdir(train_smile_dir)))
print('total training dog images:', len(os.listdir(train_unsmile_dir)))
print('total validation cat images:', len(os.listdir(validation_smile_dir)))
print('total validation dog images:', len(os.listdir(validation_unsmile_dir)))
print('total test cat images:', len(os.listdir(test_smile_dir)))
print('total test dog images:', len(os.listdir(test_unsmile_dir)))

（4）卷积网络模型搭建

from keras import layers
from keras import modelsmodel = models.Sequential()
model.add(layers.Conv2D(32, (3, 3), activation='relu',input_shape=(150, 150, 3)))
model.add(layers.MaxPooling2D((2, 2)))
model.add(layers.Conv2D(64, (3, 3), activation='relu'))
model.add(layers.MaxPooling2D((2, 2)))
model.add(layers.Conv2D(128, (3, 3), activation='relu'))
model.add(layers.MaxPooling2D((2, 2)))
model.add(layers.Conv2D(128, (3, 3), activation='relu'))
model.add(layers.MaxPooling2D((2, 2)))
model.add(layers.Flatten())
model.add(layers.Dense(512, activation='relu'))
model.add(layers.Dense(1, activation='sigmoid'))
model.summary()

（4）数据预处理

from keras import optimizersmodel.compile(loss='binary_crossentropy',optimizer=optimizers.RMSprop(lr=1e-4),metrics=['acc'])
from keras.preprocessing.image import ImageDataGenerator# 所有图像将按1/255重新缩放
train_datagen = ImageDataGenerator(rescale=1./255)
test_datagen = ImageDataGenerator(rescale=1./255)train_generator = train_datagen.flow_from_directory(# 这是目标目录train_dir,# 所有图像将调整为150x150target_size=(150, 150),batch_size=20,# 因为我们使用二元交叉熵损失，我们需要二元标签class_mode='binary')validation_generator = test_datagen.flow_from_directory(validation_dir,target_size=(150, 150),batch_size=20,class_mode='binary')

（5）模型训练

history = model.fit_generator(train_generator,steps_per_epoch=100,epochs=30,validation_data=validation_generator,validation_steps=50)

（7）保存训练模型

（8）模型的损失和准确性图像

import matplotlib.pyplot as pltacc = history.history['acc']
val_acc = history.history['val_acc']
loss = history.history['loss']
val_loss = history.history['val_loss']epochs = range(len(acc))plt.plot(epochs, acc, 'bo', label='Training acc')
plt.plot(epochs, val_acc, 'b', label='Validation acc')
plt.title('Training and validation accuracy')
plt.legend()plt.figure()plt.plot(epochs, loss, 'bo', label='Training loss')
plt.plot(epochs, val_loss, 'b', label='Validation loss')
plt.title('Training and validation loss')
plt.legend()plt.show()

（9）数据增强

datagen = ImageDataGenerator(rotation_range=40,width_shift_range=0.2,height_shift_range=0.2,shear_range=0.2,zoom_range=0.2,horizontal_flip=True,fill_mode='nearest')
# 这是带有图像预处理实用程序的模块
from keras.preprocessing import imagefnames = [os.path.join(train_cats_dir, fname) for fname in os.listdir(train_cats_dir)]# 我们选择一个图像来“增强”
img_path = fnames[3]# 读取图像并调整其大小
img = image.load_img(img_path, target_size=(150, 150))# 将其转换为具有形状的Numpy数组（150、150、3）
x = image.img_to_array(img)# 把它改成（1150150，3）
x = x.reshape((1,) + x.shape)# 下面的.flow（）命令生成一批随机转换的图像。
# 它将无限循环，所以我们需要在某个时刻“打破”循环！
i = 0
for batch in datagen.flow(x, batch_size=1):plt.figure(i)imgplot = plt.imshow(image.array_to_img(batch[0]))i += 1if i % 4 == 0:breakplt.show()

（9）添加output层，并训练数据集

model = models.Sequential()
model.add(layers.Conv2D(32, (3, 3), activation='relu',input_shape=(150, 150, 3)))
model.add(layers.MaxPooling2D((2, 2)))
model.add(layers.Conv2D(64, (3, 3), activation='relu'))
model.add(layers.MaxPooling2D((2, 2)))
model.add(layers.Conv2D(128, (3, 3), activation='relu'))
model.add(layers.MaxPooling2D((2, 2)))
model.add(layers.Conv2D(128, (3, 3), activation='relu'))
model.add(layers.MaxPooling2D((2, 2)))
model.add(layers.Flatten())
model.add(layers.Dropout(0.5))
model.add(layers.Dense(512, activation='relu'))
model.add(layers.Dense(1, activation='sigmoid'))model.compile(loss='binary_crossentropy',optimizer=optimizers.RMSprop(lr=1e-4),metrics=['acc'])
10)使用数据扩充和退出来训练我们的网络
train_datagen = ImageDataGenerator(rescale=1./255,rotation_range=40,width_shift_range=0.2,height_shift_range=0.2,shear_range=0.2,zoom_range=0.2,horizontal_flip=True,)# 请注意，不应增加验证数据！
test_datagen = ImageDataGenerator(rescale=1./255)train_generator = train_datagen.flow_from_directory(# 这是目标目录train_dir,# 所有图像将调整为150x150target_size=(150, 150),batch_size=32,# 因为我们使用二元交叉熵损失，我们需要二元标签class_mode='binary')validation_generator = test_datagen.flow_from_directory(validation_dir,target_size=(150, 150),batch_size=32,class_mode='binary')history = model.fit_generator(train_generator,steps_per_epoch=100,epochs=100,validation_data=validation_generator,validation_steps=50)

（10）保存模型

（11）模型的损失和准确性图像

acc = history.history['acc']
val_acc = history.history['val_acc']
loss = history.history['loss']
val_loss = history.history['val_loss']epochs = range(len(acc))plt.plot(epochs, acc, 'bo', label='Training acc')
plt.plot(epochs, val_acc, 'b', label='Validation acc')
plt.title('Training and validation accuracy')
plt.legend()plt.figure()plt.plot(epochs, loss, 'bo', label='Training loss')
plt.plot(epochs, val_loss, 'b', label='Validation loss')
plt.title('Training and validation loss')
plt.legend()plt.show()

3、笑脸识别

（1）基于卷积神经网络的微笑识别

#检测视频或者摄像头中的人脸
import cv2
from keras.preprocessing import image
from keras.models import load_model
import numpy as np
import dlib
from PIL import Image
model = load_model('D:\\smile1\\smiles_and_unsmiles_small_2.h5')
detector = dlib.get_frontal_face_detector()
video=cv2.VideoCapture(0)
font = cv2.FONT_HERSHEY_SIMPLEX
def rec(img):gray=cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)dets=detector(gray,1)if dets is not None:for face in dets:left=face.left()top=face.top()right=face.right()bottom=face.bottom()cv2.rectangle(img,(left,top),(right,bottom),(0,255,0),2)img1=cv2.resize(img[top:bottom,left:right],dsize=(150,150))img1=cv2.cvtColor(img1,cv2.COLOR_BGR2RGB)img1 = np.array(img1)/255.img_tensor = img1.reshape(-1,150,150,3)prediction =model.predict(img_tensor)    if prediction[0][0]>0.5:result='unsmile'else:result='smile'cv2.putText(img, result, (left,top), font, 2, (0, 255, 0), 2, cv2.LINE_AA)cv2.imshow('Video', img)
while video.isOpened():res, img_rd = video.read()if not res:breakrec(img_rd)if cv2.waitKey(5) & 0xFF == ord('q'):break
video.release()
cv2.destroyAllWindows()

（2）基于Dlib的微笑识别

#基于Dlib的笑脸识别#!Anaconda/anaconda/python
# coding: utf-8"""
从视屏中识别人脸，并实时标出面部特征点
"""import dlib  # 人脸识别的库dlib
import numpy as np  # 数据处理的库numpy
import cv2  # 图像处理的库OpenCvclass face_emotion():def __init__(self):# 使用特征提取器get_frontal_face_detectorself.detector = dlib.get_frontal_face_detector()# dlib的68点模型，使用作者训练好的特征预测器self.predictor = dlib.shape_predictor("E:/shape_predictor_68_face_landmarks.dat")# 建cv2摄像头对象，这里使用电脑自带摄像头，如果接了外部摄像头，则自动切换到外部摄像头self.cap = cv2.VideoCapture(0)# 设置视频参数，propId设置的视频参数，value设置的参数值self.cap.set(3, 480)# 截图screenshoot的计数器self.cnt = 0def learning_face(self):# 眉毛直线拟合数据缓冲line_brow_x = []line_brow_y = []# cap.isOpened（） 返回true/false 检查初始化是否成功while (self.cap.isOpened()):# cap.read()# 返回两个值：#    一个布尔值true/false，用来判断读取视频是否成功/是否到视频末尾#    图像对象，图像的三维矩阵flag, im_rd = self.cap.read()# 每帧数据延时1ms，延时为0读取的是静态帧k = cv2.waitKey(1)# 取灰度img_gray = cv2.cvtColor(im_rd, cv2.COLOR_RGB2GRAY)# 使用人脸检测器检测每一帧图像中的人脸。并返回人脸数rectsfaces = self.detector(img_gray, 0)# 待会要显示在屏幕上的字体font = cv2.FONT_HERSHEY_SIMPLEX# 如果检测到人脸if (len(faces) != 0):# 对每个人脸都标出68个特征点for i in range(len(faces)):# enumerate方法同时返回数据对象的索引和数据，k为索引，d为faces中的对象for k, d in enumerate(faces):# 用红色矩形框出人脸cv2.rectangle(im_rd, (d.left(), d.top()), (d.right(), d.bottom()), (0, 0, 255))# 计算人脸热别框边长self.face_width = d.right() - d.left()# 使用预测器得到68点数据的坐标shape = self.predictor(im_rd, d)# 圆圈显示每个特征点for i in range(68):cv2.circle(im_rd, (shape.part(i).x, shape.part(i).y), 2, (0, 255, 0), -1, 8)# cv2.putText(im_rd, str(i), (shape.part(i).x, shape.part(i).y), cv2.FONT_HERSHEY_SIMPLEX, 0.5,#            (255, 255, 255))# 分析任意n点的位置关系来作为表情识别的依据mouth_width = (shape.part(54).x - shape.part(48).x) / self.face_width  # 嘴巴咧开程度mouth_higth = (shape.part(66).y - shape.part(62).y) / self.face_width  # 嘴巴张开程度# print("嘴巴宽度与识别框宽度之比：",mouth_width_arv)# print("嘴巴高度与识别框高度之比：",mouth_higth_arv)# 通过两个眉毛上的10个特征点，分析挑眉程度和皱眉程度brow_sum = 0  # 高度之和frown_sum = 0  # 两边眉毛距离之和for j in range(17, 21):brow_sum += (shape.part(j).y - d.top()) + (shape.part(j + 5).y - d.top())frown_sum += shape.part(j + 5).x - shape.part(j).xline_brow_x.append(shape.part(j).x)line_brow_y.append(shape.part(j).y)# self.brow_k, self.brow_d = self.fit_slr(line_brow_x, line_brow_y)  # 计算眉毛的倾斜程度tempx = np.array(line_brow_x)tempy = np.array(line_brow_y)z1 = np.polyfit(tempx, tempy, 1)  # 拟合成一次直线self.brow_k = -round(z1[0], 3)  # 拟合出曲线的斜率和实际眉毛的倾斜方向是相反的brow_hight = (brow_sum / 10) / self.face_width  # 眉毛高度占比brow_width = (frown_sum / 5) / self.face_width  # 眉毛距离占比# print("眉毛高度与识别框高度之比：",round(brow_arv/self.face_width,3))# print("眉毛间距与识别框高度之比：",round(frown_arv/self.face_width,3))# 眼睛睁开程度eye_sum = (shape.part(41).y - shape.part(37).y + shape.part(40).y - shape.part(38).y +shape.part(47).y - shape.part(43).y + shape.part(46).y - shape.part(44).y)eye_hight = (eye_sum / 4) / self.face_width# print("眼睛睁开距离与识别框高度之比：",round(eye_open/self.face_width,3))# 分情况讨论# 张嘴，可能是开心或者惊讶if round(mouth_higth >= 0.03):if eye_hight >= 0.056:cv2.putText(im_rd, "amazing", (d.left(), d.bottom() + 20), cv2.FONT_HERSHEY_SIMPLEX,0.8,(0, 0, 255), 2, 4)else:cv2.putText(im_rd, "happy", (d.left(), d.bottom() + 20), cv2.FONT_HERSHEY_SIMPLEX, 0.8,(0, 0, 255), 2, 4)# 没有张嘴，可能是正常和生气else:if self.brow_k <= -0.3:cv2.putText(im_rd, "angry", (d.left(), d.bottom() + 20), cv2.FONT_HERSHEY_SIMPLEX, 0.8,(0, 0, 255), 2, 4)else:cv2.putText(im_rd, "nature", (d.left(), d.bottom() + 20), cv2.FONT_HERSHEY_SIMPLEX, 0.8,(0, 0, 255), 2, 4)# 标出人脸数cv2.putText(im_rd, "Faces: " + str(len(faces)), (20, 50), font, 1, (0, 0, 255), 1, cv2.LINE_AA)else:# 没有检测到人脸cv2.putText(im_rd, "No Face", (20, 50), font, 1, (0, 0, 255), 1, cv2.LINE_AA)# 添加说明im_rd = cv2.putText(im_rd, "S: screenshot", (20, 400), font, 0.8, (0, 0, 255), 1, cv2.LINE_AA)im_rd = cv2.putText(im_rd, "Q: quit", (20, 450), font, 0.8, (0, 0, 255), 1, cv2.LINE_AA)# 按下s键截图保存if (k == ord('s')):self.cnt += 1cv2.imwrite("screenshoot" + str(self.cnt) + ".jpg", im_rd)# 按下q键退出if (k == ord('q')):break# 窗口显示cv2.imshow("camera", im_rd)# 释放摄像头self.cap.release()# 删除建立的窗口cv2.destroyAllWindows()if __name__ == "__main__":my_face = face_emotion()my_face.learning_face()

三、口罩识别

口罩识别跟之前的微笑表情识别基本操作步骤一致，只是需要在数据集训练时将人脸表情数据集 更换成为口罩数据集

1、口罩识别

#检测视频或者摄像头中的人脸
import cv2
from keras.preprocessing import image
from keras.models import load_model
import numpy as np
import dlib
from PIL import Image
model = load_model('D:/mask1/masks_and_unmasks_small_2.h5')
detector = dlib.get_frontal_face_detector()
video=cv2.VideoCapture(0)
font = cv2.FONT_HERSHEY_SIMPLEX
def rec(img):gray=cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)dets=detector(gray,1)if dets is not None:for face in dets:left=face.left()top=face.top()right=face.right()bottom=face.bottom()cv2.rectangle(img,(left,top),(right,bottom),(0,255,0),2)img1=cv2.resize(img[top:bottom,left:right],dsize=(150,150))img1=cv2.cvtColor(img1,cv2.COLOR_BGR2RGB)img1 = np.array(img1)/255.img_tensor = img1.reshape(-1,150,150,3)prediction =model.predict(img_tensor)    if prediction[0][0]>0.5:result='unmask'else:result='mask'cv2.putText(img, result, (left,top), font, 2, (0, 255, 0), 2, cv2.LINE_AA)cv2.imshow('Video', img)
while video.isOpened():res, img_rd = video.read()if not res:breakrec(img_rd)if cv2.waitKey(5) & 0xFF == ord('q'):break
video.release()
cv2.destroyAllWindows()