RCNN

1. 目标检测

目标检测是分类任务（bounding box中物体的类别）和回归任务（bounding box的大小及位置）的组合。

2. RCNN的贡献

1. 根据Selective Search算法提取Region proposal候选区域
2. 将每个Region proposal缩放到统一大小后，通过$CNN$提取固定大小的特征
3. 将提取出的特征通过$SVM$进行分类
4. 训练一个回归器，对bounding box边界框进行调整，使其接近ground truth真实边界框

3. Region proposals

本文采用的Selective Search算法来提取候选区域Region proposals

Selective Search 算法：

• 使用一种过分割手段，将图像分割成小区域
• 查看现有小区域，按照合并规则合并可能性最高的相邻两个区域。重复直到整张图像合并成一个区域位置
• 输出所有候选区域

Selective Search 合并规则：

1. 颜色相近：颜色直方图
2. 纹理相近：梯度直方图
3. 合并后总面积小的：重合度高

正负样本选取：

如果某个Region proposal和当前图像上的所有Ground truth中重叠面积最大的那个的IOU大于等于0.5，则该Region proposal作为这个Ground truth类别的正样本，否则作为负样本。另外正样本还包括了Ground Truth。

IOU是计算矩形框$A、B$的重合度的公式:
$$IOU=\frac{A\cap B}{A\cup B}$$

4. Feature extraction

将生成的Region proposal 减去像素平均值后，使用各向异性的缩放方式（直接缩放），将图片缩放到$227\times 227$大小，随后对每个Region proposal 提取特征，对每个proposal经过五层卷积层以及两层全连接层，在cf7层得到提取出的4096维特征。 提取特征使用了pre-training的AlexNet网络

5. Object category classifier

本文在fc7层提取出特征后，未直接通过最后一层softmax层进行分类，而是将fc7层提取出的特征用于训练SVM分类器。因为SVM得到的效果要更好，原因如下：

1. 我们对于正样本的定义没有强调精确定位，即IOU大于0.5的region proposal便认定为正样本
2. softmax分类器是根据随机抽样的负样本进行训练的，而SVM是利用hard negative的子集来作为负样本训练

对每一个类别训练一个二分类器，我们用IoU重叠阈值来解决正负样本的问题，在0.3阈值以下的区域被定义为负样本，0.3-0.7阈值的样本被忽略，0.7-1.0的样本被定义为正样本。PS：这里负样本的选定和前面的有所不同。

6. Bounding-box regression

6.1 问题定义

对于Bounding Box一般使用四维向量$(x,y,w,h)$来表示，分别表示窗口的中心点坐标和宽高。

对于下图，红色框$P$代表原始的$Proposal$，绿色框$G$代表$Ground$ $Truth$，我们的目标是寻找一个映射使得输入的原始框$P$经过该映射得到一个跟真实框$G$更接近的回归窗口$\hat{G}$。

即：给定$(P_x,P_y,P_w,P_h)$，寻找一种映射$f$，使得$f(P_x,P_y,P_w,P_h)=({\hat{G}}_x,{\hat{G}}_y,{\hat{G}}_w,{\hat{G}}_h)$，并且$({\hat{G}}_x,{\hat{G}}_y,{\hat{G}}_w,{\hat{G}}_h)\approx (G_x,G_y,G_w,G_h)$

6.2 解决方案——平移+缩放

1. 先做平移变换$(\Delta x,\Delta y),\Delta x=P_w{d}_x(P),\Delta y=P_h{d}_y(P)$，则：
   $$\begin{gathered} {\hat{G}}_x=P_w{d}_x(P)+P_x \\ {\hat{G}}_y=P_h{d}_y(P)+P_y \end{gathered}$$
2. 再做缩放变换$(S_w,S_h),S_w=exp(d_w(P)),S_h=exp(d_h(P))$，则：
   $$\begin{gathered} {\hat{G}}_w=P_{w}exp(d_w(P)) \\ {\hat{G}}_h=P_{h}exp(d_h(P)) \end{gathered}$$

Bounding-box regression就是学习$d_x(P),d_y(P),d_w(P),d_h(P)$这四个参数

算法流程：

$输入：RegionProposal\to P=(P_x,P_y,P_w,P_h)；GroundTruth\to G=(G_x,G_y,G_w,G_h)$

$输出：D_{\ast }=(d_x(P),d_y(P),d_w(P),d_h(P))$

1. 计算真正需要的平移量$(t_x,t_y)$和缩放量$(t_w,t_h)$
   $$\begin{gathered} t_x=(G_x-P_x)/P_w \\ {t}_y=(G_y-P_y)/P_h \\ {t}_w=log(G_w/P_w) \\ {t}_h=log(G_h/P_h) \end{gathered}$$

2. 构建损失函数：$d_{\ast }(P)=(d_x(P),d_y(P),d_w(P),d_h(P))$是预测值，真实值$t_{\ast }=(t_x,t_y,t_w,t_h)$，我们要让预测值与真实值差距最小，定义均方误差函数：
   $$Loss=\sum _i^N(t_{\ast }^i-d_{\ast }^i{)}^2$$
   函数的优化目标为：
   $$D_{\ast }=arg\underset{d_{\ast }}{\min }\sum _i^N(t_{\ast }^i-d_{\ast }^i{)}^2+\lambda ||d_{\ast }^i|{|}^2$$

3. 利用梯度下降法或最小二乘法得到$D_{\ast }$

7. Non-maximum suppression

RCNN 网络会对一个目标标定了多个标定框，使用非极大值抑制算法NMS滤掉多余的标定框

算法流程:

输入：B={b1,...,bN};S={s1,...,sN};Nt。B表示候选框集合，S表示每个候选框的置信度得分，Nt表示NMS阈值输入：B=\{b_1, ..., b_N\}; S=\{s_1, ..., s_N\}; N_t。B表示候选框集合，S表示每个候选框的置信度得分，N_t表示NMS阈值输入：B={b1​,...,bN​};S={s1​,...,sN​};Nt​。B表示候选框集合，S表示每个候选框的置信度得分，Nt​表示NMS阈值

$输出：D：筛选后的候选框,S：筛选后的候选框的置信度得分$

D = {}
while B not empty:# 选取置信度得分最高的 proposalm = argmax(S)M = b_m# 将置信度得分最高的 proposal加入到集合D中D = D union M# 从集合B中删除置信度得分最高的 proposalB = B - M# 遍历其他proposalfor b_i in B:# 如果其他proposal与置信度得分最大的proposal的交并比大于给定的阈值，便从集合B中删除，并删除对应的置信度得分if IOU(M, b_i) >= N_t:B = B - b_iS = S - s_i
return D, S

8. RCNN网络结构图

---

参考资料：

• https://blog.csdn.net/u014380165/article/details/72851035
• https://perper.site/2019/02/11/RCNN%E8%AF%A6%E8%A7%A3/
• https://www.cnblogs.com/wujianming-110117/p/14679460.html
• https://zhuanlan.zhihu.com/p/77884984