一、绪论

1.存在的问题

1.GAN模型为无法较好地学习小样本数据集中的全局图像特征，导致模型无法稳定地训练，生成违禁品图像质量较差
2.公开的安检数据集中具有违禁品的安检 X 光图像无论是从数量上还是违禁品种类和姿态的多样性上都无法满足深度学习网络的训练需求
3.现实中有些违禁物品比如不同类型的枪支、刀具等很难获取，导致这些违禁品的安检 X 光图像很难采集到，以至于违禁品图像的形状多样性较差

2.研究内容

1. 构建数据集，包括尺寸统一的X光违禁品图像数据集和行李安检X光图像数据集
2. 改进GAN 的模型结构，包括网络结构和损失函数
3. 实验验证改进的GAN模型性能有所提高
4. 生成大量不同类型的X光违禁品图像和行李安检X光图像，增加图像的外形多样性和姿态多样性
5. 建立生成图像评价模型

二、安检图像数据集构建与预处理

1. 图像采集（实验室X光机）

图像内容	种类	数量
单目标违禁品	12	4887
多目标重叠违禁品	8	1659
带有违禁品的安检 X 光图像	7	4500
不带有违禁品的安检 X 光图像	1	1910

2.安检X光图像预处理

1.安检 X 光违禁品图像的预处理：
图像的裁剪→图像的补正→图像的尺寸统一→目标违禁品图像的前景提取

2.安检 X 光图像数据集：
图像的补正→图像的尺寸统一

3.安检X光图像数据集

1.X光违禁品图像数据集
特点:

1. 规模小，GAN无法直接训练 （生成模型需要能够较好学习小样本数据集）
   2）安检 X 光图像的颜色提供了有用的信息，不同的颜色代表不同材料的 X光扫描成像 （考虑是否利用该点完成目标前景提取）
   3）同一违禁品不同姿态的 X 光成像，可以通过图像的轮廓和纹理（全局特征）来确定。

2.行李安检 X 光图像数据集

三、基于 GAN 的 X 光违禁品图像生成方法

1.生成模型及改进：

1.模型选择：SAGAN 模型在 GAN 模型中引入了自注意力机制，生成网络和鉴别网络对全局特征的建模能力较高，适用于当前情况。但X 光违禁品图像数据集规模较小，使得 SAGAN 模型在生成 X 光违禁品图像方面表现不佳，主要表现在外形轮廓扭曲，视觉效果差。

2.模型改进：
1）用卷积神经网络和反卷积神经网络作为 GAN 模型的鉴别网络和生成网络
2）去除网络中的池化层（Pooling）
3）对判别网络和生成网络都进行加深
4）在两个网络中分别加入了自注意力机制模块（计算图像的远距离相关性，使模型可以有效对X光违禁品图像的远距离相关特征进行建模）
5）生成网络包括 7 个反卷积网络层和 1 个全连接网络层，并且每个反卷积网络层后面添加了批量归一化（提高网络收敛速度，防止梯度爆炸或消失，提高网络泛化能力）

改进后的网络能够在小样本数据集上稳定训练，，更好地学习X光违禁品图像的全局特征和全距离相关性。

3.损失函数改进
实验发现：单边惩罚的 WGAN-GP 损失函数更加适合 X光违禁品图像的生成，简称为 WGAN-LP，其损失函数定义为：
相比于单边惩罚的损失函数WGAN-LP而言，WGAN-GP的损失函数惩罚项更加严格，不利于生成图像多样性的丰富。

2.不同生成模型性能比较

1.评价方法：FID（Frechet Inception Distance）分数
流程：
1）.利用 Inception 网络来提取真实图像和生成图像的特征
2）.使用高斯模型对两个特征空间建模
3）.解两个特征之间 FID距离
FID分数越低，生成图像的质量和多样性越好

2.不同模型的比较结果

对比最后三行发现们的主观视觉已经很难判断出哪个模型生成出的图像质量更好，因此使用FID这一评价指标

3.生成结果
1）单目标无背景X光违禁品图像

2）多目标无背景 X 光违禁品图像

训练改进 GAN 模型时，训练集中的图像是双目标重叠违禁品图像，但本文模型则生成了三目标重叠违禁品图像，如图 3-7 红色框中的图像。

3）有背景的X光违禁品图像

4).行李X光安检图像生成结果
对已改进的模型结构进一步加深，以提高模型能够训练高分辨率的图像
缺点：模型较大，计算量大，对显卡要求高，收敛速度慢，所需时间长，读取文件时易出问题
（可以考虑从加快收敛速度、优化保存的权重信息等方面进一步改进）

5）特殊图像生成

生成的部分图像与实际图像的物品重叠类似，提高了图像多样性

3.基于Cycle GAN的X光违禁品图像转换方法

提出了一种基于改进的 Cycle GAN 模型的违禁品实物图像转换为 X 光违禁品图像，以解决违禁品图像的形状多样性较差的问题

1.转换方法
Cycle GAN 使用两个生成网络来学习两个域之间的相互映射，并使用两个鉴别网络来区分生成图像和原始图像。
Cycle GAN 模型中生成网络的输入：输入图像是违禁品实物图像，首先经过阈值分割，再经过中值滤波后得到二值化图像，将二值化违禁品图像输入到生成网络G_AB中生成X 光违禁品图像，将 X 光违禁品图像输入到生成网络G_BA 中生成二值化违禁品图像判别网络D_A 用于判断二值化违禁品图像是原始图像还是生成网络G_BA 生成的图像，判别网络D_B 用于判断 X光违禁品图像是原始图像还是生成网络G_AB生成的图像。

模型经过充分的对抗训练后，生成网络G_AB ,和生成网络G_BA都可以生成逼真的图像，而我们需要的则是生成网络G_AB生成的X 光违禁品图像。

从互联网上收集一些形状和姿势丰富的违禁品图像实物图。然后通过之前提到的图像裁剪、图像补正、图像放缩和目标的前景提取的图像预处理方法，将图像制作成尺寸大小为 256×256 分辨率的数据集

2.改进
对 Cycle GAN 的损失函数进行了改进。用最小二乘法损失函数替换原始 Cycle GAN 中交叉熵损失函数，即改进后的L_GAN为最小二乘损失函数。

3.姿态变化
在互联网中收集真实的手枪 3D 模型，然后使用 3DS MAX 软件打开模型，其次按照一定的方向旋转 3D 模型，每隔一定的角度渲染一次得到对应的 2D 图像，通过这种方法得到了一系列姿态连续性变化的手枪实物图像

4.生成结果

四、 生成图像的评价方法

1.基于分类网络的评价方法

FID弊端：无法判断FID数值大的图像究竟是质量差还是多样性差

使用 GAN-train 和GAN-test方法来评估生成图像的质量和多样性。通过这两个指标，还能够比较生成图像与真实图像之间特征信息的多少，从而判断通过生成图像是否能够产生额外的特征信息。

利用生成违禁品图像训练一个分类网络，然后让真实违禁品去测试这个分类器，得到的准确率就是 GAN-train，用于评估生成的 X光违禁品图像的多样性和真实性；真实的 X 光违禁品图像训练另一个分类器，然后用 GAN模型生成的违禁品图像测试这个训练好的分类器，得到的准确率就是GAN-test，GAN-test 用于评估生成的 X 光违禁品图像的真实性。当 GAN-train准确率大于GAN-test准确率时，这就意味着生成的图像样本中包含的特征信息要比真实图像样本的特征信息多。

2.基于目标检测网络的评价方法

检测生成图像能否辅助目标检测网络提高检测精度
1.行李安检X光图像的合成方法
X 光成像优先级：当多种材料的违禁品重叠放置时，高优先级材料的X光成像会覆盖低优先级的X光成像，具有相同材料的重叠违禁品的颜色会加深

其中P表示违禁品图像，这些图像都是来自第三章和第四章中生成的无背景违禁品图像；Mask为违禁品图像的掩膜，由于使用的违禁品图像没有背景，因此掩膜 Mask 非常容易取得，首先将图像转换为弧度图像，在通过阈值分割处理，将像素小于阈值的像素点都转换为 255，大于阈值的则转换为 0，得到的二值化图像再经过中值滤波后得到 Mask；B 为没有违禁品的行李安检 X 光图像，这些图像是通过实验室中的安检 X 光机手动采集得到的。背景图像和合成的行李安检 X 光图像的分辨率都为 512×512。

2.基于SSD模型的评价方法
选择 Single Shot Multi Box Detector（SSD）模型作为该方法中的目标检测模型（速度快 能识别多尺度和重叠目标）

五、展望

1.对GAN的改进

生成图像的质量和真实图像的质量存在着差距，并且模型收敛速度较慢，模型的权重信息过大。
1.加快收敛速度：进一步的加深网络结构，将反卷积结构改为目前较为流行的上采样，将批量归一化换成其他的正则化方式，例如谷歌最近提出的滤波器响应正则化（Filter Response Normalization，FRN）。
2.压缩模型，可以使用模型剪枝，将冗余的参数去除
3.改进图像质量和多样性，对真实的安检X光图像中的违禁品部分标注出来形成标签，在GAN模型中再增加一个生成网络，使得一个生成网络负责生成违禁品图像部分，另外一个生成网络负责生成背景部分的图像，通过这种模型结构达到生成高分辨率行李安检 X 光图像的目的。