AIHGF

深度学习之语义分割指南与代码[译]
原文:Semantic Segmentation with Deep Learning: A guide and ...
扫描右侧二维码阅读全文
21
2018/09

深度学习之语义分割指南与代码[译]

原文:Semantic Segmentation with Deep Learning: A guide and code

Github - GeorgeSeif/Semantic-Segmentation-Suite


语义分割

语义分割问题描述

深度学习和计算机视觉社区中,
图像分类理解为:让模型说出图片中存在的单个目标对象或者场景. 图像分类是很粗糙和 high-level 的.

目标检测定位图片中物体的位置,并给出物体的类别,即用边界框 boxes 来标注图片中的目标物体,并对边界框内的物体进行分类. 目标检测是 mid-level 的,能够获取很多有用的和更细节的信息,但仍是粗糙的,因为只是标注出物体的边界框boxes,并未给出物体真实形状.

语义分割 是更信息丰富的,其需要对图片的每个像素进行分类,给出了更细致的图片理解.

这里对语义分割的基础结果和已有成果进行概述.

基于 TensorFlow 的不同网络模型的训练和测试代码:
Github - GeorgeSeif/Semantic-Segmentation-Suite

语义分割基础结构

语义分割的基础结构是很多网络都有涉及到的,因为大部分都具有相同的 backbone 网络,模型设置,和工作流(flow),很便于不同网络模型的实现.

U-Net 是语义分割基础网络的很好的例示.

U-Net 的左半部分是任何用于训练图片分类的特征提取网络,如 VGGNet,ResNets,DenseNets,MobileNets,NASNets 等. 可以根据需要自定选取.
选取特征提取网络时最重要的是精度和速度的权衡tradeoffs,深层的 ResNet152 可以得到较高的精度,但运行效率比不过 MobileNets. 类似于图像分类中所采用网络的精度和速度的权衡.
需要强调的是,在设计/选择语义分割网络时,backbones 网络是最重要的因素.

特征提取后,再在不同尺度进行进一步的处理. 其原因主要包括两层:

  • [1] - 因为模型会遇到很多不同尺寸的目标物体;在不同尺度的进一步处理特征,使得网络对于不同尺寸的目标物体的效果更鲁棒.
  • [2] - 语义分割时需要考虑精度和效率的均衡. 如果需要更高的分类精度,则需要进一步应用到后面网络得到的高层(high level) 特征,因为这些特征更具判别力,且包含了更多有用的语义信息. 另一方面,如果只采用前面提取的深度特征,由于得到的特征图分辨率比较低,导致定位效果不够好.

最新的语义分割方法都遵循特征提取后接多尺度处理的网络结构. 很多都比较易于实现和 end-to-end 的训练.
具体分割方法根据应用场景的精度和速度/内存等来选择.

语义分割网络模型

1. 全分辨率残差网络 FRRN

Full-Resolution Residual Networks(FRRN) 是一种非常清晰的多尺度处理的模型,其包括两个工作流(streams):residual stream 和 pooling stream.

为了进一步处理提取的语义特征,以追求更高的分类精度,FRRN 在 pooling stream 逐步处理和下采样特征图(feature maps). 同时,在 residual stream 以全分辨率的处理特征图. 因此,pooling stream 处理高层(high-level) 语义信息,以得到较高的分类精度;residual stream 处理低层(low-level) 像素信息,以得到较高的定位精度.

为了实现 end-to-end 的网络训练,不希望将 pooling stream 和 residual stream 完全分离. 故,在每个 max pooling 后, FRRN 将 2 个 streams 的特征图进行联合处理,以组合二者的特征信息.


FRRN 模型结构

2. 金字塔场景解析网络(PSPNet)

FRRN 很好的实现了直接进行多尺度处理. 但是,在每个尺度的处理计算量比较大,计算密集. 而且,FRRN 会以全分辨率进行处理,其非常的慢.

Pyramid Scene Parsing Network (PSPNet) 提出一种聪明的方式来实现多尺度处理 - 采用 pooling 的多尺度(multiple scales of pooling).
PSPNet 利用了标准的特征提取网络,如 ResNet, DenseNet 等,并对提取的特征进一步处理.

为了得到多尺度信息,PSPNet 采用了 4 种不同窗口尺寸(window sizes)和步长(stride)的 max pooling操作,有效的实现了从 4 个不同尺度捕捉特征信息,而无需对每个尺寸进行大量计算.
然后,对每个尺寸采用一个小型卷积,上采样每个尺寸输出的特征图到相同分辨率,并链接,即可组合多尺度的特征图,不需要太多的卷积操作. 对于低分辨率的特征图,具有较高的计算效率.
最后,采用双线性上采样(bilinear intepolation)将输出的分割图调整到目标尺寸.


PSPNet 模型结构

3. 一百层的 Triamisu (FCDenseNet)

Hundred Layers Tiramisu FCDenseNet 采用了类似于 U-Net 结构的网络结构,其主要贡献在于,结合了类似于 DenseNet 分类模型的密集连接.

这也强调了 CV 领域的强烈趋势,特征提取前端是在任何其他任务上表现良好的主要支撑. 因此,分割精度的提升通常首先关注的是特征提取网络.


FCDenseNet 模型结构

4. DeepLabV3

DeepLabV3 采用另一种方式进行多尺度处理,但未增加网络参数.

DeepLabV3 模型非常轻型. 首先还是特征提取网络,采用第 4 个下采样层的输出特征以进行后续进一步处理.
输出的特征图分辨率非常低(输入图片的 1/16),由于较差的像素级精度,难以得到良好的定位效果.

DeepLabV3 的主要贡献是,Atrous 卷积的使用. 标准卷积只能处理非常局部的信息,例如,标准的 3x3 卷积,两个权重之间的距离仅是单个像素/像素(a single step / pixel).
基于 Atrous 卷积,可以直接增加不同卷积权重间的空间(距离),而且不会增加权重参数量.
仍是采用 3x3 的卷积,9 个参数,只需要乘以权重,即可扩大权重间的距离.
权重间的距离记为 dilation rate. 如 DeepLabV3 模型结构图中所示.

当 dilation rate 较小时,将处理非常局部、小尺度的特征信息.
当 dilation rate 较大时,则可处理更全局、大尺度的特征信息.
故,DeepLabV3 模型基于不同 dilation rates 的 atrous 卷积,来学习多尺度特征信息.


DeepLabV3 模型结构

5. 多路精细化分割网络(RefineNet)

FRRN 直接结合多种不同分辨率的特征信息,取得了很好的效果. 但其缺点是,高分辨率尺度特征图的处理,计算量比较大,而且仍要不得不处理和结合低分辨率的特征信息.

Multi-Path Refinement Networks (RefineNet) 模型则不需要如此.
当输入图片经过特征提取网络处理后,自然就可以在每一次下采样后得到多种尺度的特征信息.

RefineNet 然后采用 bottom-up 的方式处理得到的多种分辨率的特征图,以组合多尺度特征信息.
首先,分别处理每个特征图;然后将组合的低分辨率特征图处理到高分辨率的特征图,再对低分辨率特征图和高分辨率特征图一起处理. 这样,就可以对多尺度特征图分别独立处理和一起处理. 如图.


RefineNet 模型结构

6. Large Kernel Matters(GCN)

DeepLabV3 采用的是不同 dilation rates 的 atrous 卷积来学习多尺度信息,其只能一次处理一个尺度的特征,然后再组合多尺度的特征信息.
例如,dilation rate=16 的 atrous 卷积 对于局部信息的学习不够好,需要再组合一个更小的 dilation rate 的 atrous 卷积的特征信息,以取得更有的语义分割效果.

对此,在以前的语义分割方法中,多尺度处理一般是先分别单尺度处理,然后再组合各尺度处理后的结果. 如果能一次(one shot) 学习到多尺度信息,则更有意义.

Global Convolutional Network (GCN) 提出采用大的一维卷积核(large one-dimensional kernels),而不是方形卷积核.
基于方形卷积核,如3x3, 7x7 等,如果没有大规模的速度和内存消耗,难以变得太大.
而,一维卷积核(one dimensional kernels) 具有更高的效率,而且可以扩大卷积核而不减慢网络运行速度. 论文里甚至做到了 15.

最重要的是,水平卷积和垂直卷积的平衡. 论文里还使用了 low filter 的小的 3x3 卷积,以有效的精细化一维卷积可能导致的丢失信息.

GCN 也采用对特征提取网络的每个尺度的特征信息进行处理的方式.
基于一维卷积的高效率,GCN 对所有尺度进行处理,都是全分辨率的,而不是采用低分辨率,再转化到高分辨率的方式.
这样就可以按比例放大时,不断的精细化分割结果,而不用担心由于低分辨率而可能出现的 bottle-necking 问题.


GCN 模型结构

7. DeepLabV3+

DeepLabV3+ 模型正如其名字,是DeepLabV3 的一个扩展,其借鉴了其它模型的思想.
从上面可知,如果只是简单的在网络尾部采用双线性上采样(bilinear interpolation),来得到分割输出,则存在潜在的瓶颈. 比如,原始的 DeepLabV3 模型实际上就是 x16 倍.

DeepLabV3+ 提出在 DeepLabV3 网络输出端添加一个解码模块. 在 DeepLabV3 处理后,对其输出的特征进行 x4 的上采样. 然后,将上采样后的特征与特征提取网络输出的特征相结合,进行进一步的处理,最后再进行 x4 的上采样.
这样就减轻了网络尾部的负载,并提供了从特征提取端到网络近端的 shortcut 连接.


DeepLabV3+ 网络结构

CVPR 和 ECCV2018

  • Image Cascade Network (ICNet) - 采用深度监督(deep suoervision),对输入图片在不同尺度进行处理,每个尺度都有各自的子网络,并逐步组合各尺度的输出结果.
  • Discriminative Feature Network (DFN)  - 采用深度监督,尝试分别处理分割的平滑和边缘部分.
  • DenseASPP  - 结合密集连接(dense connection) 和 atrous 卷积.
  • Context Encoding - 新增一个 channel attention 模块,基于新设计的 loss 函数对特定的特征图触发 attention.
  • Dense Decoder Shortcut Connections - 在解码decoding 阶段使用 dense connections,以得到更高的精度.(其它方法只是在特征提取/编码阶段使用)
  • Bilateral Segmentation Network (BiSeNet) - 网络有两个分支:一个用于学习语义信息,另一个用于对输入图片做非常少的处理 low-level 的像素信息.
  • ExFuse - 采用深度监督,组合特征提取网络输出的多尺度特征,确保在所有层次(levels) 都能够仪器处理多尺度信息.

如何做语义分割

  • 熟练掌握分类网络. 因为分类网络是用于处理特征的主要驱动,特征信息主要源于此.
  • 在多尺度处理,并组合多尺度信息.
  • 多尺度的 pooling,atrous conv,large one-dimensional convs 有助于语义分割.
  • 不需要在高分辨率做太多处理. 在低分辨率的处理速度较快,然后再转化到目标尺寸,以及必要的后处理.
  • 深度监督有助于提升一点精度,但训练设置技巧性比较棘手.
Last modification:October 9th, 2018 at 02:13 pm

Leave a Comment