Tensorflow DeepLab API 提供了 PASCAL VOC 2012,Cityscapes 和 ADE20K 数据集上的预训练模型.

1. Tensorflow DeepLab ModelZoo

三个数据集: PASCAL VOC 2012, Cityscapes, ADE20K

1.1 DeepLab 模型 - PASCAL VOC 2012

[Tensorflow DeepLab ModelZoo]

每个模型 tar.gz 压缩包中包含的文件有:
- frozen_inference_graph.pb, 冻结的推断图. 所有冻结推断图使用的输出步长 output_stride=8, 单个评测尺度 scale=1.0. 未进行左右翻转. 基于 MobileNet-V2 的模型不包含解码模块decoder module.
- 断点checkpoint文件 - model.ckpt.data-0000-of-0001model.ckpt.index.

  • 模型细节
    VOC2012 train_aug 数据集和 train_aug + trainval 数据集.

    对于 VOC2012 train_aug 数据集,当 GPU 内存资源受限时,可以采用小 batchsize 和冻结 BatchNormalization 来训练模型.
    对于 train_aug + trainval 数据集,可以直接在VOC2012 测试集上评测断点效果,或采用断点进行 Demo 测试 - Tensorflow - 语义分割 Deeplab API 之 Demo.

    注:基于 MobileNet-V2 模型未采用ASPP 和解码模块,以进行快速计算.



    其中,OS 表示 Output_Stride,输出步长.



    上表中给出了在 PASCAL VOC val 和 test 数据集上的计算复杂度(Multi-Adds 和 CPU Runtime)和分割表现(IoU).
    (平台:CPU E5-1650 v3 @ 3.50GHz, 32GB memory)
    注:虽然 multi-scales 输入和左右翻转能够提高分割精度,但也明显增加了计算量,对于实时应用可能不太适合.

1.2 DeepLab 模型 - Cityscapes

  • 模型细节
    在 Cityscapes train_fine 数据集上进行训练的.
    注:基于 MobileNet-V2 模型未采用ASPP 和解码模块,已进行快速计算.

1.3 DeepLab 模型 - ADE20K

  • 模型细节
    在 ADE20K training 数据集上训练.
    模型只在 ImageNet 上预训练,

2. ImageNet 预训练断点 Checkpoints

tar.gz 压缩包中包含模型断点文件 - Checkpoints model.ckpt.data-00000-of-00001model.ckpt.index.

Tensorflow DeepLab 提供了只在 ImageNet 上预训练的模型断点文件,以便于自定义模型的训练:
- mobilenet_v2 - 细节可参考 mobilenet
- xception_{41,65,71} - 采用原始的 Xception 模型来处理语义分割任务,主要进行的修改之处有:(1) 网络层更多;(2) 所有的 max pooling 操作均替换为 strided(atrous) separable convolutions;(3)在每个 3x3 depthwise conv 后添加新的 batch-norm 层. 这里提供了三种不同网络深度的 Xception 模型变种.
- resnet_v1_{50,101}_beta - 对原始 ResNet-101 进行修改,类似于 PSPNet,采用三个 3x3 卷积层来替代其第一个 7x7 卷积层. 具体细节可参见 resnet_v1_beta.py

模型名 文件大小
xception_41 288MB
xception_65 447MB
xception_71 474MB
resnet_v1_50_beta 274MB
resnet_v1_101_beta 477MB
Last modification:October 9th, 2018 at 09:31 am