Charbonnier Loss

最近在做一些图像生成的相关任务，看到了有些论文用Charbonnier Loss来近似  损失来提高模型的性能，这里就对论文中提到的Charbonnier Loss做一个梳理。

Charbonnier Loss的表达式如下所示：

首先参考以下这篇超分辨领域的论文《Fast and Accurate Image Super-Resolution with Deep Laplacian Pyramid Networks》：

http://xxx.itp.ac.cn/pdf/1710.01992​xxx.itp.ac.cn/pdf/1710.01992

下面截取文章中几处提到该损失函数优点的地方。

translation：我们证明了所提出的具有鲁棒 Charbonnier 损失函数的深度网络可以更好地处理异常值，比L2 损失函数提高  SR 性能。

最后按照惯例给出函数的代码，其实也很简单：

class L1_Charbonnier_loss(torch.nn.Module):
    """L1 Charbonnierloss."""
    def __init__(self):
        super(L1_Charbonnier_loss, self).__init__()
        self.eps = 1e-6

    def forward(self, X, Y):
        diff = torch.add(X, -Y)
        error = torch.sqrt(diff * diff + self.eps)
        loss = torch.mean(error)
        return loss

损失函数

我们舍弃了L2和L1这两种损失函数，因为他们都会造成图像过于平滑的问题，我们采用的损失函数是一个很稳定的损失函数 Charbonnier loss function，总体的函数我直接截图了，论文中也并没有提及这个损失函数为什么好用，感兴趣的可以去翻这个损失函数的论文。

优点可能是曲线更平滑了，接近零点的值的梯度由于常数西普斯隆的存在，梯度也不会太小，避免梯度消失；远离零点的值的梯度由于开方，梯度也不会太大，避免梯度爆炸。不太准确，主观分析了一波