原文 - A Meta-analysis of DAVIS-2017 Video Object Segmentation Challenge

Video Object Segmentation — The Basics, 视频分割 - 简介与数据集及DAVIS挑战赛 中,简述了视频目标分割的定义,评价度量;并介绍了 [DAVIS-2016] 数据集上的两种方法:MaskTrack and OSVOS.
这里介绍 DAVIS-2017 数据集挑战赛涉及的算法.


DAVIS-2017: 多实例视频目标分割挑战赛

精度方面,DAVIS-2017 中有了明显提升. 作为参考的 DAVIS-2016 优秀方法,OSVOS,在 DAVIS-2017 中得到的区域相似度(Region Similarity) 约为 46;但在 DAVIS-2017 的最佳方法的区域相似度是 67.9.

DAVIS-2017 挑战赛中,22 个参赛队伍中,排名前 9 个结果.

从表格中可以看出,DAVIS-2017 的一些趋势:

  • [1] - 所有领先的工作成果都是基于 MaskTrack 或 OSVOS.
  • [2] - DAVIS-2017 中,MaskTrack 取得了胜利.
  • [3] - Lucid Data Dreaming 数据增强逐渐流行.
  • [4] - 大约一半的工作成果采用的 base 网络为 ResNet.
  • [5] - 几乎每个工作都采用了时序信息,利用了连续视频帧趋势的相似性.
  • [6] - 大约一半的工作成果采用了语义信息,利用了语义分割或检测网络(边界框).

下面简单介绍一些优秀的工作成果.

<h2>1. Lucid Data Dreaming 目标追踪</h2>

MaskTrack 作者的一个重要的工作是,Lucid Data Dreaming,其旨在,改变需要多少训练样本和解决这个问题所需要的一般“目标”的心态.

change the mindset regarding how many training samples and general “objectness” knowledge is required to approach this problem.
  • [1] - MaskTrack 的作者从 DAVIS-2017 数据集和每一个视频的第一帧的标注来生成 "in-domain" 训练数据. 对于 per-video fine-tuning,他们从单个标注的视频帧合成了 2500 增强数据,表示了可用的未来视频帧.
  • [2] - MaskTrack 的数据增强处理过程是,先裁剪(cutting-out)前景目标,修复(in-painting) 背景,打乱前景和背景,最后再重组场景. 随机采用变换参数两次,重复该处理过程. 得到视频帧对(Iτ−1, Iτ ) 和对应的 groun-truth 像素级 mask 标注 (Mτ−1, Mτ ),光流 Fτ,和遮挡区域,因为采用的变换是已知的.
  • [3] - DAVIS-2016 中,MaskTrack 表明了未在 ImageNet 上预训练,其结果仅会降低 2~5%. 因此,只采用第一帧标注作为训练数据,实际上也可以取得很好的结果.
  • [4] - MaskTrack 采用了 DeepLabV2 结构,改变了其输入,以处理更大的输入通道:[3(rgb) + n(amount of instance masks) + 1(optical flow) + 1(semantic segmentation)],分别对每个视频进行训练.
  • [5] - lucid dreaming 的另一个好处是,能够对每个视频进行 CRF 后处理的微调(fine-tune).


Lucid Data Dreaming pipeline

注:由于其它 DAVIS 选手,包括 #1 的团队,都引用了Lucid Dreaming,因此这里首先对 Lucid Dreaming 进行介绍.

<h2>2. 基于重识别(Re-identification) 的视频目标分割</h2>

DAVIS-2017 挑战赛第一名的工作成果 基于 MaskTrack 和 Lucid Dream,进行短时间(short-term)内的目标追踪,其新增了重识别来恢复长时间(long-term)内丢失的实例.

  • [1] - 改进 MaskTrack 方法:
    • base 网络是 ResNet.
    • MaskTrack 采用整张图片作为网络输入,而这里只采用根据目标物体的边界框裁剪后,尺寸归一化的图像部分作为输入,提升了对于小物体目标追踪的效果. 改进的 MaskTrack 结构.
  • [2] - 重识别(Re-identification)处理. 对于每一视频帧,
    • 采用 Faster-RCNN 检测候选目标边界框,然后与已知实例进行对比,以采用 Joint detection and identification feature learning for person search 来检查其是否需要"恢复recovered";对于通用物体进行重新训练.
    • 然后,恢复的实例被 forward 和 back propagated 到过去和未来的视频帧. 重识别过程, forward 和 backward propagation

<h2>3. 基于特定序列目标Proposals的多实例视频分割</h2>

Multiple-Instance Video Segmentation with Sequence-Specific Object Proposals.
这是基于 OSVOS 方法的排名最靠前的方法.
其思想是,从不同源生成 “object proposals”,然后采用后处理组合 proposals.

  • [1] - 改进的 OSVOS 用于寻找 "object proposals".
  • [2] - 对 balanced-cross-entropy loss 函数进行小改进,以更好的对小目标能够收敛. </p>
  • <p>[3] - 对第一帧的标注数据进行 Lucid-Dreaming-style 数据增强,在线训练(online training).</p>
  • [4] - 从图像实例分割方法得到语义 proposals.
  • [5] - 采用 “组合分组(combinatorial grouping)” 寻找 OSVOS 给定的建议 proposals 的连接部分,然后根据 distance-based 准则来决定保留和丢弃的 proposals.
  • [6] - 采用 Semantic Proposal Tracker 来进行目标追踪,并处理遮挡情况. 基于论文:Video Segmentation by Tracking Many Figure-Ground SegmentsRobust Video Segment Proposals with Painless Occlusion Handling

<h2>4. DAVIS-2017 挑战赛中 CNN 的在线自适应(Online Adaptation)</h2>

<p>onAVOS - Online Adaptation of Convolutional Neural Networks for Video Object Segmentation 已经开源了代码实现,其采用在线自适应的思想,通过采用先前分割帧上fine-tuned 的模型来分割未来的视频帧.


onAVOS 训练管道

  • [1] - 采用的 base 网络为 ResNet (基于 Wider or Deeper: Revisiting the ResNet Model for Visual Recognition ),在 PASCAL VOC 数据集进行模型预训练.
  • [2] - 对于在线训练,采用 Lucid Data Dreaming style 对第一帧进行数据集增强.
  • [3] - 因为每一帧已经分割,高置信度的前景像素进一步被作为 positive 训练样本;与最后假设的目标物体位置距离最远的像素被作为 negative 样本. 然后对新获取的数据执行另一轮微调.
  • [4] - 换句话说,第二帧的分割是根据在第一帧标注数据上的 fine-tuning 得到的;第三帧的分割是根据在第二帧的预测结果上训练得到的;分割模型对每一个新视频帧保持逐步更新.
  • [5] - 最终的迁移学习链比较长,类似于:base net (imagenet) → objectness net (pascal voc) → domain specific (DAVIS) → test net (video) → online adapted test net (rolling fine-tune on high confidence pixels)

从代码中发现,该作者好像更关注与实现细节,例如,支持低内存 GPUs,提供多种运行配置.

<h2>5. 结论</h2>

回归 DAVIS-2017 视频分割挑战赛的工作成果,有一些通用策略:

  • 结合 MaskTrack,比较擅长于短时目标追踪,但可能会丢失某些目标物体,采用重识别(re-identification) 机制重新开始追踪.
  • 结合 OSVOS,比较擅长于目标物体分割,但是难以处理极端的外观变化,采用周期的 rolling fine-tune 机制更新模型进行视频处理.
  • 采用实例分割升级 OSVOS,例如语义实例分割网络.
  • 采用更优的 base 网络(如 ResNet) 和 in-domain 数据增强(如,Lucid Data Dreaming.)

<h2>6. 下一步工作</h2>

一个方向是,使用记忆模块(memory modules): 不像其它视频任务,分割是一种密集问题,因此,采用 CNN 从每一帧提取稀疏特征,然后作为可分离 RNN 网络的输入的方法不能起效果. 一些有意思的工作,如,Learning Video Object Segmentation with Visual Memory 提出卷积记忆模块进行无监督视频分割. 是否可以用于半监督情况呢?
虽然是视频分割已经出现多年,但还远没有被解决. 视频分割技术对于现实场景很有帮助,精度,泛化以及最重要的是运行速度,仍有较大的提升空间. DAVIS-2017 中的一些解决方法分割单个 5 秒视频耗费的时间是小时级的,还没有达到快速的水平.

希望新开源的更简单和专注的 GyGO 电商数据集 能够吸引更多对于效率的关注,尤其是实时解决方案.

<h2>参考文献</h2>

[1] - Lucid data dreaming for object tracking. arXiv:1703.09554, 2017Papers 1–8
[2] - Video Object Segmentation with Re-identification. The 2017 DAVIS Challenge on Video Object Segmentation — CVPR Workshops, 2017
[3] - Instance Re-Identification Flow for Video Object Segmentation. The 2017 DAVIS Challenge on Video Object Segmentation — CVPR Workshops, 2017
[4] - Online Adaptation of Convolutional Neural Networks for Video Object Segmentation, BMVC 2017
[5] - DAVIS-2017 contestant papers: http://davischallenge.org/challenge2017/publications.html

Last modification:October 9th, 2018 at 09:31 am