题目《Damaged ceiling detection and localization in large-span structures using convolutional neural networks》

Keywords:

Damaged ceiling detection Convolutional neural networks Localization
Features visualization Saliency map

ABSTRACT：

由于人工检测的检测的缺陷性，本文提出了一种基于深度学习CNN网络的检测和定位损坏天花板的方法。预测精度高达86.22%，saliency map 能准确的定位和展示损伤的天花板区域。
有无天花板区域和损伤区域占的面积比是影响精度的两个重要因素

Introduction：

地震过后人工检测的局限性，传统的检测方法仍然需要大量的图像处理。
与之对比，利用CNN网络解决以上问题，且比传统的检测方法有更好的准确性。
特征可视化可以帮助我们理解CNN到底学到了什么，并且可以准确定位。
本论文两个目标：
1.建立一个CNN网络结构。检测受损的天花板区域
2.对受损区域进行分类，并且可视化这些结果

2. Methodology

2.1. Overview of the proposed detection method

2.2. CNN architecture

2.3. Data augmentation
数据过少的时候采用数据增强

2.4. Convolutional neural network

2.4.1. Convolution and pooling layers
卷积层为了提取特征
kernels（核心），filters（过滤器）W（权重）都是卷积核的意思。
初始卷积核随机产生。卷积过程的一个优点是减少了输入数据的大小和计算成本还有提取特征。
CNN的另一个关键操作是池化层，池化层对前一个卷积层的输出进行统计汇总，池化层通过减少其输入的空间大小来应用向下采样，池化操作有利于降低计算代价
FC layer 有大量的特征信息往往产生过拟合，利用dropout layer 对整个网络做防过拟合华处理。droupout 随机对输入神经元置零。

2.4.2. Auxiliary layers

平层是卷积/池化层和全连接层之间的连接层，它将多维输入阵列转换为一维输出阵列

2.4.3. Activation functions
在每个卷积层和第一全连接层中使用ReLU函数，在第二个完全连接的层中，也是CNN的最后一层，激活函数是softmax函数，用于计算每一类的可能性。
2.5. Loss function and optimizer
CNN的训练模型是为了，是为了减少损失值。
RMSprop是一种学习大型神经网络和大型数据集权重的基本方法

其中L为损失函数，n为个数，c为类数，yij为属于j类的第i个例数的真实标记值，yij ^为属于j类的第i个例数的预测值.都是
采用小批量随机梯度下降的一种适应SGD算法，称为RMSprop。
https://www.cnblogs.com/xiaojianliu/articles/9656415.html
https://zhuanlan.zhihu.com/p/34230849
介绍RMSprop。

累计梯度的大小，b是超参数通常取0.9，dw代表梯度，dw的平方过大的话，（3）式dw的平方会出现在分母上，从而dw除以一个大值。

e通常取10-6，避免分母为零。学习率为0.001
2.6. Features visualization
一种方法是使用显著性映射
另一种方法是Selvaraju等人提出的grado - cam
saliency maps，grad - cam都是可视化问题需要进一步学习。

番外：

cam：：类激活热力图
CAM是Class Activation Map类激活热力图的意思，比如说，一个分类网络AlexNet，输入一个既包含着一只狗，又包含着一只猫的猫狗合影图片，它会输出一个1000维度的概率向量，其中有两个分量分别对应着图片分类为猫和图片分类为狗的概率。那么这两个概率，与图片中的哪些部分的关系更大，那些部分的关系更小呢？换句话讲，输出的概率的大小与输入图片中哪些区域的像素值更敏感呢？如果找出这个敏感度的一个热力图，越敏感的地方，温度越高，越不敏感的地方，温度月底，那就是类激活热力图，如下图中c和i所示就分别时预测猫类别的CAM和预测狗类别的CAM，它很直观地告诉了我们模型是“看到了”猫的身体所以才认为图中有猫，“看到了”狗的脸才认为图中有狗。

https://zhuanlan.zhihu.com/p/83456743 了解grad-cam请看链接

Saliency Maps简单来说可以理解为是用来做模型的解释，可以用来知道哪些变量对于模型来说是重要的。我们也可以理解为Saliency map即特征图，可以告诉我们图像中的像素点对图像分类结果的影响。

了解Saliency maps https://mathpretty.com/10683.html

3. Dataset and implementation details

3.1. Dataset generation

数据人为分为两类，1完好2损坏

为防止过拟合，使用交叉验证的方法，将所有图像随机分为训练数据集、验证数据集和测试数据集，比例为6:2:2。测试数据集不会在训练过程中使用，直到最后的测试。

3.2. Implementation details for CNN training

生成验证损失最小的权值保存为CNN模型的最终权值

3.3. Implementation details for features visualization

saliency和grado - cam的可视化方法都使用了一个高级工具包keras-vis。

4. Results and discussions

训练和验证精度的最大值出现在第22和20个epoch，分别为84.73%和90.02%。最小的训练和验证损失发生在第29和20个epoch，分别为0.38和0.27训练精度在20以后趋于稳定，说明CNN模型已经学习了足够多的具有代表性的特征，20的权重被保存为最终的权重，因为在这一时期验证损失最小

2×1向量表示每个上限图像的完好和受损预测概率，由于干扰的发生预测的概率 为0.5，接近0或者1，cnn模型有一个很好的判断。

4.2. Features visualization results

4.2.1. Comparative studies
对saliency和grad-cam进行可视化研究
即使损坏概率极高grad-cam没有指示出损坏处，Saliency更好的解决了这个问题，本文采用Saliency方法。做可视化研究。

4.3. Effect of factors on the prediction accuracy

如4.2节所述，非天花板区域以及图像中受损天花板区域的面积与整体图像面积的面积比(area ratio)是影响CNN模型预测精度的两个重要因素

为了验证 分为8类：
(a)有无吊顶区域，(b)没有无吊顶区域，©大面积比，(d)小面积比，(e)无吊顶区域的大面积比，(f)无吊顶区域的小面积比，(g)无吊顶区域的大面积比，(h)无吊顶区域的小面积比

有吊顶（天花板）的面积比为：20-30时，预测最为准确。
提出捕捉天花板图案的结论：
1.首先拍摄整个的天花板区域，并且没有无天花板区域
2.将初始图像输入CNN模型，得到突出显示的结果。
3.测试图像，高亮区域（天花板区域）要占据整个图片的百分之20-30
4.将这些测试图像输入到CNN模型中，得到预测结果以及天花板损坏的位置
该方法可以有效提高CNN模型的预测精度

4.4. Discussion on improvement of CNN model

5. Conclusions

提出了一种基于视觉的大跨度结构顶板损伤检测和定位方法。
有如下结论：
1.本文提出的CNN模型具有良好的检测大跨度结构顶板损伤的能力
2.saliency method比Grad-CAM method更好，本文提出saliency的方法定位和显示受损的天花板区域。
3.特征可视化结果表明，CNN模型可以在完好区域图像中识别出建筑整体内部布局，在显示损伤的图像中识别出受损天花板区域，虽然非天花板区域，特别是形状规则的孤立区域，对损伤预测概率有显著影响这样做的原因是只有两个类(完整和损坏)在CNN模型中已经定义，因此CNN模型在检测损坏的天花板区域时不能完全排除非天花板区域