原文：达摩院视觉算法黑科技之透明抠图 -2020.07.13
出处：阿里云视觉智能开放平台
论文：Segmenting Transparent Objects in the Wild - 2020
Github - Segment_Transparent_Objects
简介： 透明抠图问题作为抠图问题的一种，其采用的方法和模型构建与通常的模型有所不同，透明抠图需要将环境光、折射率的影响纳入计算，而一般的折射光图又很难获得，因此透明抠图的模型在过去一直难以建立，或者说很难达到令人满意的效果，达摩院视觉算法团队通过双分支解码器（Object Mask获取，Opacity预测），颜色纠正模块，对图像实现高精度透明抠图.
1. 透明抠图 vs 非透明抠图
物体的抠图问题可以定义为求解以下的公式，即给定图像I，求解前景颜色F、背景颜色B和Alpha matte的线性组合:
$$ I = \alpha F + (1 - \alpha)B, \alpha \in [0, 1] $$
对于透明物体而言，它展现在观察者眼中的颜色是由其前景颜色，背景颜色以及环境光线经过前景物体自我反射折射混合而成的，因此，它的公式会更加复杂一些：
$$ I = \alpha F + (1 - \alpha)B + \Phi, \alpha \in [0, 1] $$
$$ \Phi = \iint R(\omega \rightarrow p) E(\omega) d \omega dp $$
Φ表示的是环境光的影响, 它是所有光线E(w)与反射率方程R乘积在所有点上的二重积分，求解很复杂[1]，导致实现精确的透明抠图是一个非常困难的问题. 因此，现有透明抠图研究的目标也是实现视觉感受“真实”的抠图而已，并非追求完全真实的抠图结果.
2. 透明抠图-现有研究
SOTA的Matting算法在同时提供原图和对应trimap的情况下，可以的实现对半透物体的处理（如下图为GCA-Matting[2]的效果），但tripmap在实际的图像的处理中难以获取，限制了这类算法其在业务中的使用.
TOM-Net[3] 将透明抠图问题视为折射流的估计问题，网络支持对单图输入,经过三分支的编解码器网络，分别预测图像的Object Mask，attenuative mask，flow mask(折射流图)，并可以通过折射流信息进一步在新的背景进行合成. 该方法的局限性在于其假设物体必须全部为无色透明物体，并且在训练过程中需要折射流图作为label, 而折射流图在真实世界是非常难以获取的，因此该方法的训练数只能依赖于图形学合成，与真实透明图像的分布无法一致（图像的语义合理性存疑，例如玻璃杯在山前悬浮）. 经过我们在实际数据上的测试，该方法在实际图像的表现并不理想.
Segmenting Transparent Objects in the Wild[4]提出了基于语义分支和边缘分支结构的真实世界透明物体分割网络，通过边界注意力模块（Boundary Attention Modeule）增强对透明物体的分割精度，并发布了目前数量最大的透明物体分割标注数据集Trans10K. 然而，文章提出的算法和发布的数据集都是处理到语义分割层面，并没有对物体的透明度做进一步处理.
3. 透明抠图-问题简化
考虑到透明抠图问题本身难以求解，而且数据构建也非常困难，在实际的应用场景中，为保证同时保证算法的泛化能力和抠图效果，我们对问题进行了简化， 我们假设所需处理的物体的透明部分是无色的，且所在环境的背景颜色分布相对均匀. 在这样的条件下，背景的自发光或反射光的颜色可以认为是全局一致的颜色，不会出现多种颜色叠加的情况，Φ的估计就只是和背景颜色相关了. 特别的，如果预知背景的颜色，可以通过将其作为先验引入Φ中，对结果进行背景杂色的抑制及去除.
4. 透明抠图-模型设计
我们的模型输入为单张图像，首先提取其深层特征. 然后进行语义级别的分割和提取，力求完整准确地获得物体所在图像区域（Mask）. 同步进行对图像物体不透明度(Opacity)的预测. 而不透明度(Opacity)的预测由于在训练的时候没有进行语义的约束，容易存在非主体区域的噪声影响，因此，将两者进行融合可以将透明信息约束在主体范围内.
最后，对于已知背景颜色先验的场景（如已知是绿幕），我们可以引入颜色纠正模块，实现对背景透出的杂色进行去除. 对于背景颜色未知，但饱和度低的场景，抠图结果也依然可用.
5. 透明抠图-结果与应用
在已知背景颜色先验的情况下，可以通过颜色纠正模块对背景透出的杂色进行去除（左到右：实拍图，Opacity, 直接抠图结果，色偏纠正结果）
对于背景颜色未知，但饱和度低的场景，抠图结果也依然可用，例如下面几组展示图.
目前在车辆分割算法上，我们已经实现了基于透明抠图的思路用于改善半透车窗区域的效果，使得车辆经过抠图，能够更加自然和谐与新背景进行融合. 目前车辆分割已经上线阿里云视觉智能开放平台（vision.aliyun.com），欢迎体验试用.
6. 总结与展望
目前的透明抠图算法，面对更为多样的真实场景下物体，仍然具有以下不足，需要进一步探索解决：
1.真实透明物体图像数据量严重不足，且标注困难；
2.主体不透明度图（Opacity）的预测容易受到图像中噪声的影响；
3.在得到Opacity图后，在未知背景先验，且背景颜色饱和度高的情况下，如何实现将背景色的去除（如下图的杯子整体泛蓝);
后续会考虑进一步提取背景的特征，将背景先验知识引入到透明度的估计上，增加RGB偏移输出信息，尝试对前景物体的颜色进行纠正.
参考文献
[1] Environment matting and compositing
[2] Natural Image Matting via Guided Contextual Attention
[3] Learning Transparent Object Matting
[4] Segmenting Transparent Objects in the Wild