目标检测算法回顾之NMS变体篇章

说明：本文仅供学习

前面我们讲了传统检测在分类器识别之后还需要进行后处理操作，实际上在后面前期发展的深度学习模型也同样需要后处理步骤。因此，在进入深度学习模块的讲述前，我将回顾一下目前目标检测中最常见的后处理算法NMS的相关发展。从时间的概览上，NMS算法的及其变体主要有六种。

传统的NMS首先根据类别置信度得分对所有的bbox进行降序排列建表，然后将每个类别中置信度最高的bbox作为可靠的bbox，并分别计算其与剩余bbox的IOU，仅保留IOU小于设定阈值的bbox，以此往复循环直到结束。

(1)将所有的框按类别划分，并剔除背景类，因为无需NMS。

(2)对每个物体类中的边界框(B_BOX)，按照分类置信度降序排列。

(3)在某一类中，选择置信度最高的边界框B_BOX1，将B_BOX1从输入列表中去除，并加入输出列表。

(4)逐个计算B_BOX1与其余B_BOX2的交并比IoU，若IoU(B_BOX1,B_BOX2) > 阈值TH，则在输入去除B_BOX2。

(5)重复步骤3~4，直到输入列表为空，完成一个物体类的遍历。

(6)重复2~5，直到所有物体类的NMS处理完成。

(7)输出列表，算法结束

（1）顺序流程，循环步骤，GPU难以并行处理，运算效率低 （2）以分类置信度为优先衡量指标，分类置信度高的定位不一定最准，降低了模型的定位准确度 （3）直接提高阈值暴力去除包围盒，将得分较低的边框强制性地去掉，如果物体出 现较为密集时，本身属于两个物体的边框，其中得分较低的也有可能被抑制掉，从而降低了模型的召回率，且阈值设定完全依赖自身经验

在NMS公式中Si代表了每个边框的得分，M为当前得分最高的框，bi为剩余框的某一个，Nt为设定的阈值，可以看到，当IoU大于Nt时，该边框的得分直接置0，相当于被舍弃掉了，从而有可能造成边框的漏检。显然，对于IoU≥NMS阈值的相邻框，NMS的做法是将其得分暴力置0。这对于有遮挡的案例较不友好。

从实验结果来看的话，soft-NMS(红色）能够比较好的缓解掉传统NMS（蓝色）暴力剔除所带来的物体遮挡漏检情况。

对IOU大于阈值的边框，Soft-NMS采取得分惩罚机制，降低该边框的得分，即使用一个与IoU正相关的惩罚函数对得分进行惩罚。当邻居检测框b与当前框M有大的IoU时，它更应该被抑制，因此分数更低。而远处的框不受影响。

（1）线性衰减型（不连续，会发生跳变，导致检测结果产生较大的波动）；（2）指数高斯型（更为稳定、连续、光滑）

如果前面讲的soft NMS是通过抑制机制来改善剔除结果（降低超阈值的得分策略），那么Weighted NMS（W-NMS）则是从极大值这个方面进行改进。W-NMS认为Traditional NMS每次迭代所选出的最大得分框未必是精确定位的，冗余框也有可能是定位良好的。因此，Weighted NMS通过分类置信度与IOU来对同类物体所有的边框坐标进行加权平均，并归一化。其中，加权平均的对象包括 M自身以及IoU≥NMS阈值的相邻框。 优点：Weighted NMS通常能够获得更高的Precision和Recall，一般来说，只要NMS阈值选取得当，Weighted NMS均能稳定提高AP与AR。

缺点：（1）仍为顺序处理模式，且运算效率比Traditional NMS更低。（2）加权因子是IoU与得分，前者只考虑两个框的重叠面积，这对描述box重叠关系或许不够全面；而后者受到定位与得分不一致问题的限制。

NMS、soft-NMS及Weighted NMS的局限性：

定位置信度的缺失也导致了在前面的NMS方法中，只能将分类的预测值作为边框排序的依据，然而在某些场景下，分类预测值高的边框不一定拥有与真实框最接近的位置，因此这种标准不平衡可能会导致更为准确的边框被抑制掉。 之前NMS的局限性：

在该背景下，旷视IOU-Net论文提出了IoU-Guided NMS，即一个预测框与真实框IOU的预测分支来学习定位置信度，进而使用定位置信度来引导NMS的学习。具体来说，就是使用定位置信度作为NMS的筛选依据，每次迭代挑选出最大定位置信度的框M，然后将IoU≥NMS阈值的相邻框剔除，但把冗余框及其自身的最大分类得分直接赋予M，这样一来，最终输出的框必定是同时具有最大分类得分与最大定位置信度的框。

IOU-Guided NMS优点：

IOU-Guided NMS缺点：

从Softer-NMS的公式来看，Softer-NMS可以看成是前面三种NMS变体的结合，即：其极大值的选择/设定采用了与类似Weighted NMS（加权平均）的方差加权平均操作，其加权的方式采用了类似soft NMS的评分惩罚机制（受Soft-NMS启发，离得越近，不确定性越低，会分配更高的权重。），最后，它的网络构建思路与IOU-Guided NMS相类似。

Softer-NMS与IOU-Guided NMS的出发点同样是解决定位与分类置信度之间不匹配（分类置信度和定位置信非正相关）的问题，所采用的思路一样是增加一个定位置信度的预测，但不一样的是前面提到的IOU-Guided NMS采用IOU作为定位置信度来优先排序，而这里Softer-NMS则是通过定位分布的方差来拉近预测边框与真实物体分布，（即IOU-Guided NMS采用IOU作为定位置信度而Softer-NMS采用坐标方差作为定位置信度），具体的做法就是通过KL散度来判别两个分布的相似性。

Softer-NMS的优点：

Softer-NMS的缺点：

Adaptive NMS是在行人检测问题上来对soft NMS改进的一种自适应阈值处理方法。行人检测任务中，一个最大的问题就是目标在常规场景下一般处于密集状态。如何在解决密集检测以及密集检测之中目标之间相互遮挡的问题是行人检测的一大问题。在以往的研究中，NMS都采用单一阈值的处理方式。所以，在行人检测场景中，我们期望在行人密集的时候可以使用较大的阈值以保证更高的召回率，而当行人稀疏是，我们期望使用较小的阈值来剔除掉更多冗余的检测框。 使用单一阈值的NMS会面临这种困境：较低的阈值会导致丢失高度重叠的对象（图中蓝框是未检测出来的目标），而较高的阈值会导致更多的误报（红框是检测错误的目标）。这在密集场景下，如行人检测中，会导致较低的准确率。

基于上述背景，Adaptive NMS应用了动态抑制策略，通过网络预测目标周边的密集和稀疏的程度（计了一个Density-subnet对目标密度进行回归预测，加入密度监督信息），使阈值随着目标聚集和相互遮挡（密度）而上升，并在目标单独出现时衰减。

（1）当邻框远离M时（即IoUNt），目标密度dM作为NMS的抑制阈值；

（3）当M处于稀疏区域时（即Nm≤Nt），初始阈值Nt作为NMS的抑制阈值。

Adaptive NMS优点：

Adaptive NMS缺点：

在以往的NMS中使用的评判指标都是IOU，但就像前面对IOU的介绍，IOU虽然简单直观，但它只考虑两个框的重叠面积。因此，后面研究相继耶提出了许多IOU变体来使两框之间的相对位置关系描述更加准确。 比如上图第一种相比于第三种越不太可能是冗余框。

在此背景下，DIoU-NMS出现于Distance-IoU一文，研究者认为若相邻框的中心点越靠近当前最大得分框 M的中心点，则其更有可能是冗余框。在传统NMS中，IoU指标常用于抑制冗余检测盒，其中重叠区域是唯一因素，对于遮挡情况经常产生错误抑制。 DIoU-NMS将DIoU作为NMS的准则，因为在抑制准则中不仅应考虑重叠区域，而且还应考虑两个box之间的中心点距离，而DIoU就是同时考虑了重叠区域和两个box的中心距离。

优点：

缺点：