论文：Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks 作者：Shaoqing Ren, Kaiming He, Ross Girshick, and Jian Sun 链接：https://arxiv.org/abs/1506.01497 代码：https://github.com/rbgirshick/py-faster-rcnn

R-CNN系列其他文章：

之前的工作，像SPPnet和Fast R-CNN虽然都相对于R-CNN在提取特征的时间上有所改进，但针对区域候选框的生成这一步未做改进，这是两个算法的不足之处，此论文提出了Region Proposal Network(RPN)通过共享卷积层自动生成区域候选框：通过将RPN集成到Fast R-CNN中可实现区域候选框生成、类别预测及边界框预测一步到位，用VGG-16作为主干，在GPU上推理能达到5fps。Faster R-CNN在2015年的ILSVRC和COCO竞赛中取得了第一名的成绩。

先说区域候选框的选取规则，为了尽量完全地包含图像中的目标，区域候选框旨在有效地预测具有广泛尺度和纵横比。目前的方式如下图几种： 图1-a中是图像金字塔，图1-b是卷积核金字塔(通过变换卷积核大小)，图1-c就是本文采用的方法，在特征图上应用多尺度/多纵横比的矩形框参考(论文中命名为“anchor”)，这样可以避免枚举多个比例或宽高比的图像或卷积核。Faster R-CNN由于这样的操作，使得可以在单一尺度图像上完成候选框生成工作从而提高了运行速度。其整体网络框图如下所示： Faster R-CNN由两部分组成，第一部分为由全卷积网络组成的RPN结构，第二部分为Fast R-CNN检测器。如上图所示，RPN结构可以集成到Fast R-CNN中，共享其网络前部产生的特征图。当RPN模块产生区域候选框后，告诉Fast R-CNN模块区域候选框的位置，后面就是延续Fast R-CNN的操作了，应用RoI Pooling，然后输出接分类和回归分支。

候选框生成网络(RPN)接受任意大小的图像作为输入并输出一组矩形框做为目标的候选框，每个候选框都有一个是否是目标的得分(objectness，用softmax，只有两类，是目标或是背景，也可以用逻辑回归直接回归一个是目标的分数)。RPN结构为全卷积网络，文中采用ZFNet和VGG16，在特征图上应用3x3大小的滑窗将特征转换为256个1x1大小的特征图(ZFNet)和512个1x1大小的特征图(VGG16)，最后用1x1大小的卷积核接分类分支和回归分支。 Anchors 每个滑窗包含有k个anchor boxes，所以每个3x3大小的滑窗对应有2k个分类分数和4k个坐标框预测。如上图所示，文中k取9，包含3个尺度，每个尺度包含3个宽高比；对于一个WxH大小的特征图，共生成WHk个anchor。由于这种基于锚点的多尺度设计，我们可以简单地使用在单尺度图像上计算的卷积特征，多尺度锚框的设计是共享特征而不需要为寻找多尺度花费额外成本的关键组件。

样本选择 正样本：该anchor与ground-truth拥有最高的IoU，或者该anchor与任意一个ground-truth的IoU都大于0.7。这里就说明一个ground-truth可以为多个anchor分配正样本标签。 负样本：与所有ground-truth的IoU都小于0.3的anchor被视为负样本。 其他剩余的anchor被丢弃，没有参与到RPN训练中。

Loss Function RPN的损失函数有些类似于Fast R-CNN的多任务损失，如下： Lcls为二分类损失，Lreg为回归损失，采用smoothL1，其中正负样本均参与分类损失的计算，回归损失只有正样本参与计算。对于bounding-box回归，也是采用类似R-CNN的做法，学习基于anchor的偏移量，预测box，anchor box，和ground-truth box之间的关系如下面公式： 例如针对某个预测box，使得anchor box中心点xa与预测box中心点x的距离尽量接近anchor box中心点xa与ground-truth box中心点x*的距离，其他三个值同理，这样就等价于预测box接近ground-truth box了。

训练RPN 训练RPN网络的样本都是来自图片的anchor样本选取的正负样本，由于负样本较多，会造成正负样本不平衡问题，所以我们设置batchsize为256，正负样本比例为1:1，如果正样本少于128，就用负样本补齐。

论文采用四步交替训练的方式实现RPN与Fast R-CNN的统一：

作者在VOC2007，VOC2012上测试结果如下： 和用SS方式生成区域候选框的时间对比结果如下：

突然想到yolo系列和这个RPN不谋而合啊，yolov2可以算单尺度版的RPN，yolov3可以算FPN版的RPN，只是yolo多了个类别识别分支，anchor设置不同，且分配正负样本的方式不同而已。