原文: Faster R-CNN: Down the rabbit hole of modern object detection - 2018.01.18
作者:Javier Rey

Object detection: an overview in the age of Deep Learning 已经对基于深度学习的目标检测进行了概述. 推荐先进行阅读.

通过对 Faster R-CNN 及相关论文的阅读理解,以深入理解了其工作方式以及具体实现.

Luminoth 上对 Faster R-CNN 进行了实现,Luminoth 是基于 TensorFlow 的计算机视觉工具包,其易于模型训练与使用. Luminoth 已经引起了广泛的关注,ODSC EuropeODSC West 作了相关成果分享.

因此,这里对 Faster R-CNN 的所有细节进行总结,以供有兴趣的读者作为参考.

目标检测的一般结构:

From [Deep Residual Networks - ICML2016 Tourial]

1. 背景

Faster R-CNN 发表于 NIPS 2015,其后出现了很多改进版本,后面会进行介绍.

R-CNN - Rich feature hierarchies for accurate object detection and semantic segmentation 是 Faster R-CNN 的启发版本. R-CNN 是采用 Selective Search 算法来提取(propose)可能的 RoIs(regions of interest) 区域,然后对每个提取区域采用标准 CNN 进行分类.

出现于 2015 年早期的 Fast R-CNN 是 R-CNN 的改进,其采用兴趣区域池化(Region of Interest Pooling,RoI Pooling) 来共享计算量较大的部分,提高模型的效率.

Faster R-CNN 随后被提出,其是第一个完全可微分的模型. Faster R-CNN 是 R-CNN 论文的第三个版本.

R-CNNFast R-CNNFaster R-CNN 作者都有 Ross Girshick.

2. 网络结构

Faster R-CNN 的结构是复杂的,因为其有几个移动部件. 这里先对整体框架宏观介绍,然后再对每个部分的细节分析.

问题描述:

针对一张图片,需要获得的输出有:

  • 边界框(bounding boxes) 列表;
  • 每个边界框的类别标签;
  • 每个边界框和类别标签的概率.

Figure 1. Faster R-CNN 结构

首先,输入图片表示为 Height × Width × Depth 的张量(多维数组)形式,经过预训练 CNN 模型的处理,得到卷积特征图(conv feature map). 即,将 CNN 作为特征提取器,送入下一个部分.

这种技术在迁移学习(Transfer Learning)中比较普遍,尤其是,采用在大规模数据集训练的网络权重,来对小规模数据集训练分类器. 后面会详细介绍.

然后,RPN(Region Propose Network) 对提取的卷积特征图进行处理. RPN 用于寻找可能包含 objects 的预定义数量的区域(regions,边界框).

基于深度学习的目标检测中,可能最难的问题就是生成长度不定(variable-length)的边界框列表. 在构建深度神经网络时,最后的网络输出一般是固定尺寸的张量输出(采用RNN的除外). 例如,在图片分类中,网络输出是 (N, ) 的张量,N 是类别标签数,张量的每个位置的标量值表示图片是类别 ${ label_i }$ 的概率值.

在 RPN 中,通过采用 anchors 来解决边界框列表长度不定的问题,即,在原始图像中统一放置固定大小的参考边界框. 不同于直接检测 objects 的位置,这里将问题转化为两部分:

对每一个 anchor 而言,

  • anchor 是否包含相关的 object?
  • 如何调整 anchor 以更好的拟合相关的 object?

这里可能不容易理解,后面会深入介绍.

当获得了可能的相关objects 和其在原始图像中的对应位置之后,问题就更加直接了. 采用 CNN 提取的特征和包含相关 objects 的边界框,采用 RoI Pooling 处理,并提取相关 object 的特征,得到一个新的向量.

最后,基于 R-CNN 模块,得到:

  • 对边界框内的内容进行分类,(或丢弃边界框,采用 background 作为一个 label.)
  • 调整边界框坐标,以更好的使用 object.

显而易见,上面忽略了一些重要的细节信息. 但,包括了 Faster R-CNN 的大致思想.

下面对网络结构和每个部分的训练及loss 进行详细说明.

3. 基础网络

正如上面所说,Faster R-CNN 第一步是采用基于分类任务(如,ImageNet)的 CNN 模型作为特征提取器. 听起来是比较简单的,但,重要的是理解其如何工作和为什么会有效,并可视化中间层,查看其输出形式.

网络结构很难说哪种是最好的. Faster R-CNN 最早是采用在 ImageNet 训练的 ZFVGG,其后出现了很多其它权重不同的网络. 如,MobileNet 是一种小型效率高的网络结构,仅有 3.3M 参数;而,ResNet-152 的参数量达到了 60M. 新网络结构,如 DenseNet 在提高了结果的同时,降低了参数数量.

3.1. VGG

在讨论网络结构孰优孰劣之前,这里以 VGG16 为例.


Figure 2. VGG16 网络结构

VGG16 是 ImageNet ILSVRC 2014 竞赛的模型,其是由 Karen SimonyanAndrew Zisserman 发表在论文 Very Deep Convolutional Networks for Large-Scale Image Recognition 上.

今天来看,VGG16 网络结构是不算深的,但在当时,其将网络层比常用的网络结构扩展了两倍,开始了 “deeper→more capacity→better”的网络结构设计方向(在训练允许的情况).

VGG16 图片分类时,输入为 224×224×3 的张量(即,一张 224×224 像素的 RGB 图片). 网络结构最后采用 FC 层(而不是 Conv 层)得到固定长度的向量,以进行图片分类. 对最后一个卷积层的输出拉伸为 rank 1 的张量,然后送入 FC 层.

由于 Faster R-CNN 是采用 VGG16 的中间卷积层的输出,因此,不用关心输入的尺寸. 而且,该模块仅利用了卷积层. 进一步去分析模块所使用的哪一层卷积层. Faster R-CNN 论文中没有指定所使用的卷积层,但在官方实现中是采用的卷积层 conv5/conv5_1 的输出.

每个卷积层利用前面网络信息来生成抽象描述. 第一层一般学习边缘edges信息,第二层学习边缘edges中的图案patterns,以学习更复杂的形状等信息. 最终,可以得到卷积特征图,其空间维度(分辨率)比原图小了很多,但更深. 特征图的 width 和 height 由于卷积层间的池化层而降低,而 depth 由于卷积层学习的 filters 数量而增加.

Figure 3. 卷积特征图

在 depth 上,卷积特征图对图片的所有信息进行了编码,同时保持相对于原始图片所编码“things”的位置. 例如,如果在图片的左上角存在一个红色正方形,而且卷积层有激活响应,那么该红色正方形的信息被卷积层编码后,仍在卷积特征图的左上角.

3.2. VGG vs ResNet

ResNet 结构逐渐取代 VGG 作为基础网络,用于提取特征. Faster R-CNN 的共同作者也是 ResNet 网络结构论文 Deep Residual Learning for Image Recognition 的共同作者.

ResNet 相对于 VGG 的明显优势是,网络更大,因此具有更强的学习能力. 这对于分类任务是重要的,在目标检测中也应该如此.

另外,ResNet 采用残差连接(residual connection) 和 BN (batch normalization) 使得深度模型的训练比较容易. 这对于 VGG 首次提出的时候没有出现.

3.3. Anchors

在获得了处理后的图片后,需要寻找 proposals,如用于分类的 RoIs(regions of interest). anchors 是用来解决长度不定问题的.

目标是,寻找图片中的边界框bounding boxes,边界框是具有不同尺寸sizes和长宽比aspect ratios 的矩形.

假设,已经知道图片中有两个 objects,首先想到的是,训练一个网络,输出 8 个值:两对元组 ${ x_{min}, y_{min}, x_{max}, y_{max} }$,分别定义了每个 object 的边界框. 这种方法存在一些基本问题. 例如,当图片的尺寸和长宽比不一致时,良好训练模型来预测,会非常复杂. 另一个问题是无效预测:预测 ${ x_{min} }$ 和 ${ x_{max} }$ 时,需要保证 ${ x_{min} < x_{max} }$.

事实上,有一种更加简单的方法来预测 objects 的边界框,即,学习相对于参考boxes 的偏移量. 假设参考 box:${ x_{center}, y_{center}, width, height }$,待预测量 ${ Δxcenter, Δycenter, Δwidth, Δheight}$,一般都是很小的值,以调整参考 box 更好的拟合所需要的.

Anchors 是固定尺寸的边界框,是通过利用不同的尺寸和比例在图片上放置得到的 boxes,并作为第一次预测 object 位置的参考 boxes.

因为是对提取的 ${ Conv_{width} × Conv_{height} × Conv_{Depth} }$ 卷积特征图进行处理,因此,在 ${ Conv_{width} × Conv_{height} }$ 的每个点创建 anchors. 需要理解的是,虽然 anchors 是基于卷积特征图定义的,但最终的 anchos 是相对于原始图片的.

由于只有卷积层和 pooling 层,特征图的维度是与原始图片的尺寸成比例关系的. 即,数学地表述,如果图片尺寸 w×h,特征图的尺寸则是 ${ w/r × h/r }$. 其中,r 是下采样率(subsampling ratio). 如果在卷积特征图空间位置定义 anchor,则最终的图片会是由 r 像素划分的 anchors 集. 在 VGG 中, r=16.


Figure 4. 原始图片上的 Anchor Centers.

为了选择 anchors 集,一般是先定义许多不同尺寸(如,64px,128px,256px等)和boxes 长宽比(如,0.5,1,1.5等),并使用所有可能的尺寸和比例组合.


Figure 5. 左:Anchors;中:单个点的 Anchor;右:全部Anchors.

4. RPN - Region Proposal Network


Figure 6. RPN 结构 - RPN 输入是卷积特征图,输出图片生成的 proposals.

RPN 利用所有的参考 boxes(anchors),输出一系列 objecs 的良好的 proposals. 针对每个 anchor,都有两个不同的输出:

[1] - anchor 内是某个 object 的概率.
RPN 不关注于 anchor 是某个 object class,只是确定其可能是一个 object (而不是背景background). 即: RPN 不关心 object 类别,只确定是 object 还是 background.
利用 object score,去滤出将要用于第二阶段的效果不佳的 boxes.

[2] - anchor 边界框回归输出
边界框的输出用于调整 anchors 来更好的拟合预测的 object.

RPN 是全卷积(full conv) 网络,其采用基础网络输出的卷积特征图作为输入. 首先,采用 512 channel,3×3 kernel 的卷积层,然后是两个并行的 1×1 kernel 的卷积层,该卷积层的 channels 数量取决每个点的 anchors 的数量.


Figure 7. RPN 结构的全卷积实现,k 是 anchors 数量.

对于分类层,每个 anchor 输出两个预测值:anchor 是背景(background,非object)的 score 和 anchor 是前景(foreground,object) 的 score.

对于回归层,也可以叫边界框调整层,每个 anchor 输出 4 个预测值:${ Δxcenter, Δycenter, Δwidth, Δheight }$,即用于 anchors 来得到最终的 proposals.

根据最终的 proposal 坐标和其对应的 objectness score,即可得到良好的 objects proposals.

4.1. 训练、目标和损失函数

RPN 有两种类型的预测值输出:二值分类和边界框回归调整.

训练时,对所有的 anchors 分类为两种类别. 与 ground-truth object 边界框的 Intersection over Union (IoU) 大于 0.5 的 anchors 作为 foreground;小于 0.1 的作为 background.

然后,随机采样 anchors 来生成batchsize=256 的 mini-batch,尽可能的保持 foreground 和 background anchors 的比例平衡.

RPN 对 mini-batch 内的所有 anchors 采用 binary cross entropy 来计算分类 loss. 然后,只对 mini-batch 内标记为 foreground 的 anchros 计算回归 loss. 为了计算回归的目标targets,根据 foreground anchor 和其最接近的 groundtruth object,计算将 anchor 变换到 object groundtruth 的偏移值 correct ${ \Delta }$.

Faster R-CNN 没有采用简单的 L1 或 L2 loss 用于回归误差,而是采用 Smooth L1 loss. Smooth L1 和 L1 基本相同,但是,当 L1 误差值非常小时,表示为一个确定值 ${ \sigma }$, 即认为是接近正确的,loss 就会以更快的速度消失.

采用动态 batches 是很有挑战性的. 即使已经尝试保持 background 和 foreground 的 anchors 的平衡比例,也不总是可行的. 根据图片中 groundtruth objects 和 anchors 的尺度与比例,很有可能得不到 foreground anchors. 这种情况时,将采用与 groundtruth boxes 具有最大 IoU 的 anchors. 这与理想情况相差很远,但实际中一般总能有 foreground 样本和要学习目标.

4.2. 后处理

[1] - 非极大值抑制(Non-maximum suppression)

由于 Anchors 一般是有重叠的overlap,因此,相同 object 的 proposals 也存在重叠.

为了解决重叠 proposals 问题,采用 NMS 算法处理,丢弃与一个score 更高的 proposal 间 IoU 大于预设阈值的 proposals.

虽然 NMS 看起来比较简单,但 IoU 阈值的预设需要谨慎处理. 如果 IoU 值太小,可能丢失 objetcs 的一些 proposals;如果 IoU 值过大,可能会导致 objects 出现很多 proposals. IoU 典型值为 0.6.

[2] - Proposal 选择
NMS 处理后,根据 sore 对 ${ top N }$ 个 proposals 排序. 在 Faster R-CNN 论文中 N=2000,其值也可以小一点,如 50,仍然能的高好的结果.

4.3. 单独应用 RPN

RPN 可以独立使用,不用 2-stage 模型.

当处理的问题是,单个 object 类时,objectness 概率即可作为最终的类别概率. 此时,“foreground” = “single class”,“background”=“not single class”.

可以应用于人脸检测(face detection),文字检测(text detection),等.

仅单独采用 RPN 的优点在于,训练和测试速度较快. 由于 RPN 是仅有卷积层的简单网络,其预测效率比采用分类 base 网络的效率高.

5. RoI Pooling

RPN 处理后,可以得到一堆没有 class score 的 object proposals.

待处理问题为,如何利用这些边界框 bounding boxes,并分类.

一种最简单的方法是,对每个 porposal,裁剪,并送入pre-trained base 网络,提取特征;然后,将提取特征来训练分类器. 但,这就需要对所有的 2000 个 proposals 进行计算,效率低,速度慢.

Faster R-CNN 则通过重用卷积特征图(conv feature map) 来加快计算效率. 即,采用 RoI(region of interest) Pooling 对每个 proposal 提取固定尺寸的特征图. R-CNN 是对固定尺寸的特征图分类.


Figure 8. RoI Pooling

目标检测中,包括 Faster R-CNN,常用一种更简单的方法,即:采用每个 proposal 来对卷积特征图裁剪crop,然后利用插值算法(一般为双线性插值 bilinear)将每个 crop resize 到固定尺寸 ${ 14 ×14 × ConvDepth }$. 裁剪后,利用 2×2 kernel 的 Max Pooling 得到每个 proposal 的最终 ${ 7×7×ConvDepth }$ 特征图.

之所以选择该精确形状,与其在下面的模块(R-CNN)中的应用有关.

6. R-CNN -- Region-based CNN

R-CNN 是 Faster R-CNN 框架中的最后一个步骤.

  • 计算图片的卷积特征图conv feature map;
  • 然后采用 RPN 对卷积特征图处理,得到 object proposals;
  • 再利用 RoI Pooling 对每个 proposal 提取特征;
  • 最后,利用提取特征进行分类.

R-CNN 是模仿分类 CNNs 的最后一个阶段,采用全连接层来输出每个可能的 object 类别class 的score.

R-CNN 有两个不同的输出:

  • 对每个 proposal 分类,其中类别包括一个 background 类(用于去除不良 proposals);
  • 根据预测的类别class,更好的调整 proposal 边界框.

Faster R-CNN 论文中,R-CNN 对每个 proposal 的特征图,拉平flatten,并采用 ReLU 和两个大小为 4096 维的全连接层进行处理.

然后,对每个不同 objects 采用两个不同的全连接层处理:

  • 一个全连接层有 N+1 个神经单元,其中 N 是类别 class 的总数,包括 background class;
  • 一个全连接层有 4N 个神经单元. 回归预测输出,得到 N 个可能的类别 classes 分别预测 ${ Δcenterx,Δcentery,Δwidth,Δheight }$.

Figure 9. R-CNN 结构

6.1. 训练和目标

R-CNN 的目标基本上是与 RPN 目标的计算是一致的,但需要考虑不同的可能的 object 类别 classes.

根据 proposals 和 ground-truth boxes,计算其 IoU.

与任何一个 ground-truth box 的 IoU 大于 0.5 的 proposals 被设为正确的 boxes. IoU 在 0.1 到 0.5 之间时设为 background.

与 RPN 中目标组装相关,这里忽略没有任何交叉的 proposals. 这是因为,在此阶段,假设已经获得良好的 proposals,主要关注于解决难例. 当然,所有的这些超参数都是可以用于调整以更好的拟合 objects.

边界框回归的目标计算的是 proposal 与其对应的 ground-truth间的偏移量,只对基于 IoU 阈值设定类别class 后的 proposals 进行计算.

随机采用一个平衡化的 mini-batch=64,其中,25% 的 foreground proposals(具有类别class) 和 75% 的background proposals.

类似于 RPNs 的 losses,对于选定的 proposals,分类 loss 采用 multiclass entropy loss;对于 25% 的 foreground proposals 采用 SmoothL1 loss 计算其与 groundtruth box 的匹配.

由于 R-CNN 全连接网络对每个类别class 仅输出一个预测值,当计算边框回归loss 时需谨慎. 当计算 loss 时,只需考虑正确的类别.

6.2. 后处理

类似于 RPN,R-CNN 最终输出一堆带有类别 class 的objects,在返回结果前,再进一步进行处理.

为了调整边界框,需要考虑概率最大的类别的 proposals. 忽略概率最大值为 background class 的proposals.

当得到最终的 objects 时,并忽略被预测为 background 的结果,采用 class-based NMS. 主要是通过对 objects 根据类别class 分组,然后根据概率排序,并对每个独立的分组采用 NMS 处理,最后再放在一起.

最终得到的 objects 列表,仍可继续通过设定概率阈值的方式,来限制每个类的 objects 数量.

7. Faster R-CNN 训练

Faster R-CNN 在论文中是采用分步 multi-step 方法,对每个模块分别训练再合并训练的权重. 自此,End-to-end 的联合训练被发现能够得到更好的结果.

当将完整的模型合并后,得到 4 个不同的 losses,2 个用于 RPN,2 个用于 R-CNN. RPN 和 R-CNN 的base基础网络可以是可训练(fine-tune)的,也可以是不能训练的.

base基础网络的训练与否,取决于待学习的objects与可用的计算力. 如果新数据与 base基础网络训练的原始数据集相似,则不必进行训练,除非是想尝试其不同的表现. base基础网络的训练是比较时间与硬件消耗较高,需要适应梯度计算.

4 种不同的 losses 以加权和的形式组织. 可以根据需要对分类 loss 和回归 loss 设置权重,或者对 R-CNN 和 RPNs 设置不同权重.

采用 SGD 训练,momentum=0.9. 学习率初始值为 0.001,50K 次迭代后衰减为 0.0001. 这是一组常用参数设置

采用 Luminoth 训练时,直接采用默认值开始.

8. 评价 Evaluation

评价准则:指定 IoU 阈值对应的 Mean Average Precision (mAP),如 mAP@0.5.

mAP 来自信息检索,常用与计算 ranking 问题的误差计算,以及评估目标检测结果.

9. 总结

至此,对 Faster R-CNN 的处理方式有了清晰的理解,可以根据实际应用场合来做一些应用.

如果想进一步深入理解,可以参考 Luminoth Faster R-CNN 实现.

Faster R-CNN 可以用于解决复杂的计算机视觉问题,并取得很好的效果. 虽然这里模型是目标检测,但对于语义分割,3D目标检测等,都可以基于以上模型. 或借鉴于 RPN,或借鉴于 R-CNN,或两者都有. 因此,能够深度理解其工作原理,对于更好的解决其它问题很有帮助.

Related

[1] - 知乎 - Faster R-CNN

[2] - 知乎 - 原始图片中的ROI如何映射到到feature map?

[3] - 论文阅读学习 - Faster R-CNN

[4] - 论文阅读学习 - Fast R-CNN

[5] - Caffe源码 - RoI Pooling 层

Last modification:May 10th, 2019 at 12:35 pm