IncentionV3 提出一种通过估计 label-dropout 的边缘化效应(marginalized effect)来正则分类器层的机制,即Label-smoothing Regularization,LSR.

参数汇总:

$z_i$ - logits,未被归一化的对数概率.

$p$ - predicted probability,样本的预测概率.

$q$ - groundtruth probability,样本的真实类别标签概率. one-shot 时,样本的真实概率为 Dirac 函数,即 $q(k) = \delta _{k, y}$,$y$ 为真实的类别标签.

对于每个训练样本 $x$,网络模型计算其关于每个类别标签 $k \in \lbrace 1 ... K \rbrace$ 的概率值,Softmax 层输出的预测概率:

$p(k|x) = \frac{exp(z_k)}{\sum _{i=1}^K exp(z_i)}$.

其中, $z_i$ 是 logits 或者未归一化的 log-概率值(log-probability).

假设对该样本关于类别标签 $q(k|x)$ 的 groundtruth 分布,进行归一化,有:

$\sum _k q(k|x) = 1$.

简单起见,忽略关于样本 $x$ 的 $p$ 和 $q$ 之间的依赖性.

定义样本的损失函数为交叉熵(cross entropy):

$\mathcal{l} = - \sum _{k=1}^K log(p(k)) q(k)$.

最小化该交叉熵损失函数,等价于最大化特定类别标签的期望 log 似然值,该特定类别标签是根据其 groundtruth 分布 $q(k)$ 选定的.

交叉熵损失函数时关于 logits $z_k$ 可微的,因此可以用于深度模型的梯度训练. 其梯度的相对简洁形式为:

$\frac{\partial l}{\partial z_k} = p(k) - q(k)$,其值区间为 [-1, 1].

假设只有单个 groundtruth 类别标签 $y$ 的情况,则 $q(y) = 1$,$q(k) = 0 (k \neq y 时)$,此时,最小化交叉熵损失函数等价于最大化正确类别标签(correct label) 的 log-likelihood.

对于某个样本 $x$,其类别标签为 $y$,对 $q(k)$ 计算最大化 log-likelihood,$q(k) = \delta _{k,y}$,其中 $\delta _{k,y}$ 为 Dirac 函数,即,$k=y$ 时,$\delta _{k,y} = 1$;$k \neq y$ 时,$\delta _{k,y} = 0$.

在采用预测的概率来拟合真实的概率时,只有当对应于 groundtruth 类别标签的 logit 值远远大于其它类别标签的 logit 值时才可行. 但其面临两个问题:

  • 可能导致过拟合 - 如果模型学习的结果是,对于每个训练样本都将全部概率值都分配给 groundtruth 类别标签,则不能保证其泛化能力.
  • 其鼓励最大 logit 值和其它 logits 值间的差异尽可能的大,但结合梯度 $\frac{\partial l}{\partial z_k}$ 的有界性,其削弱了模型的适应能力.

也就是说,只有模型对预测结果足够有信心时才可能发生的情况.

InceptionV3 提出了一种机制,鼓励模型少一点自信(encouraging the model to be less confident).

虽然,对于目标是最大化训练标签的 log-likelihoodd 的问题,不是所期望的;但,却能够正则化模型,并提升模型的适应能力.

假设有类别标签的分布 $u(k)$,其独立于训练样本 $x$,和一个平滑参数 $\epsilon$,对于 groundtruth 类别标签为 $y$ 的训练样本,将其类别标签的分布 $q(k|x) = \delta _{k, y}$ 替换为:

$q^{'} (k|x) = (1 - \epsilon ) \delta _{k, y} + \epsilon u(k)$

其是,原始 groundtruth 分布 $q(k|x)$ 、固定分布 $u(k)$ 、权重 $1 - \epsilon$ 和权重 $\epsilon$ 的组合.

可以将类别标签 $k$ 的分布的计算可以看作为:

  • 首先,将类别标签设为 groundtruth 类别标签,$k = y$;
  • 然后,采用概率 $\epsilon$ ,将从分布 $u(k)$ 中的采样值来取代 $k$;

InceptionV3 中采用类别标签的先验分布来作为 $u(k)$. 如,均匀分布(uniform distribution),$u(k) = \frac{1}{K}$,则:

$q^{'} (k|x) = (1 - \epsilon ) \delta _{k, y} + \epsilon \frac{1}{K}$

对此,称为类别标签平滑正则化(label-smoothing regularization, LSR).

LSR 交叉熵变为:

$H(q^{'}, p) = - \sum _{k=1} ^K log(p(k) q^{'}(k)) = (1 - \epsilon) H(q, p) + \epsilon H(u, p)$

等价于将单个交叉熵损失函数 $H(q, p)$ 替换为一对损失函数 $H(q, p)$ 和 $H(u, p)$.

损失函数 $H(u, p)$ 惩罚了预测的类别标签分布 $p$ 相对于先验分布 $u$ 的偏差,根据相对权重 $\frac{\epsilon}{1 - \epsilon}$. 该偏差也可以从 KL divergence 的角度计算,因为 $H(u, p) = D_{KL}(u || p) + H(u)$,$H(u)$ 时固定. 当 $u$ 时均匀分布时,$H(u, p)$ 是评价预测的概率分布 $p$ 与均匀分布 $u$ 间的偏离程度.

在 ImageNet 实验中,$K=1000$ 个类别标签,先验分布为 $u(k) = 1/1000$,$\epsilon = 0.1$. ILSVRC2012 对于 top1 和 top5 大约有 0.2% 的精度提升.

tf.losses.softmax_cross_entropy:

new_onehot_labels = onehot_labels * (1 - label_smoothing) + label_smoothing / num_classes

Last modification:October 24th, 2018 at 10:02 pm