NMS, Non Maximum Suppression, 非极大值抑制, 在目标检测中,被用于后期的物体边界框去除.

1. NMS 原理

NMS 对检测得到的全部 boxes 进行局部的最大搜索,以搜索某邻域范围内的最大值,从而滤出一部分 boxes,提升最终的检测精度.

NMS :

[1] - 输入: 检测到的Boxes(同一个物体可能被检测到很多Boxes,每个box均有分类score)

[2] - 输出: 最优的Box.

[3] - 过程: 去除冗余的重叠 Boxes,对全部的 Boxes 进行迭代-遍历-消除. 1.将所有框的得分排序,选中最高分及其对应的框; 2. 遍历其余的框,如果和当前最高分框的重叠面积(IOU)大于一定阈值,则将框删除; 3. 从未处理的框中继续选一个得分最高的,重复上述过程.

例如: 假设某物体检测到 4 个 Boxes,每个 Box 分别对应一个类别 Score,根据 Score 从小到大排列依次为,(B1, S1), (B2, S2), (B3, S3), (B4, S4). S4 > S3 > S2 > S1.

  • Step 1. 根据Score 大小,从 Box B4 框开始;
  • Step 2. 分别计算 B1, B2, B3 与 B4 的重叠程度 IoU,判断是否大于预设定的阈值;如果大于设定阈值,则舍弃该 Box;同时标记保留的 Box. 假设 B3 与 B4 的阈值超过设定阈值,则舍弃 B3,标记 B4 为要保留的 Box;
  • Step 3. 从剩余的 Boxes 中 B1, B2 中选取 Score 最大的 B2, 然后计算 B2 与 剩余的 B1 的重叠程度 IoU;如果大于设定阈值,同样丢弃该 Box;同时标记保留的 Box.
  • 重复以上过程,直到找到全部的保留 Boxes.

2. Fast R-CNN 中 NMS 实现

Fast-RCNN 中的 NMS Python实现 - nms.py

import numpy as np

def nms(dets, thresh):
    # dets: 检测的 boxes 及对应的 scores
    # thresh: 设定的阈值
    
    # boxes 位置
    x1 = dets[:, 0]  
    y1 = dets[:, 1]
    x2 = dets[:, 2]
    y2 = dets[:, 3]
    
    # boxes scores
    scores = dets[:, 4]
    
    areas = (x2 - x1 + 1) * (y2 - y1 + 1) # 各 box 的面积
    order = scores.argsort()[::-1] # boxes 的按照 score 排序
    
    keep = [] # 记录保留下的 boxes
    while order.size > 0:
        i = order[0] # score 最大的 box 对应的 index
        keep.append(i) # 将本轮 score 最大的 box 的 index 保留
        
        # 计算剩余 boxes 与当前 box 的重叠程度 IoU
        xx1 = np.maximum(x1[i], x1[order[1:]])
        yy1 = np.maximum(y1[i], y1[order[1:]])
        xx2 = np.minimum(x2[i], x2[order[1:]])
        yy2 = np.minimum(y2[i], y2[order[1:]])
        
        w = np.maximum(0.0, xx2 - xx1 + 1) # IoU
        h = np.maximum(0.0, yy2 - yy1 + 1)
        inter = w * h
        ovr = inter / (areas[i] + areas[order[1:]] - inter)
        
        # 保留 IoU 小于设定阈值的 boxes
        inds = np.where(ovr <= thresh)[0]
        order = order[inds + 1]
    
    return keep

3. 参考

[1] - 目标窗口检测算法-NMS非极大值抑制

[2] - NMS——非极大值抑制

Last modification:May 10th, 2019 at 01:13 pm