栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Python

阅读笔记 | Unsupervised Video Interpolation Using Cycle Consistency

Python 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

阅读笔记 | Unsupervised Video Interpolation Using Cycle Consistency

Unsupervised Video Interpolation Using Cycle Consistency

文章下载地址:here
该文章是NVIDIA团队基于superslomo提出的无监督学习版本视频插帧方法,发表于ICCV2019。

周期一致性cycle consistency

周期一致性是这篇文章的主要贡献点。

主要思想为:连续插帧后的两帧可以作为输入帧,由此得到的中间帧GroundTruth是原有的输入帧。如下图:

即蓝色的部分和红色的部分分别对应连续的前后两帧插帧,黄色的部分是得到的结果帧作输入帧新进行的插帧。因此,无监督学习应该满足公式:

I ^ t = M ( I 0 , I 1 , t ) hat I_t = M(I_0,I_1,t) I^t​=M(I0​,I1​,t) I ^ t = M ( M ( I 0 , I 1 , t ) , M ( I 1 , I 2 , t ) , 1 − t ) hat I_t =M Bigl( M(I_0,I_1,t), M(I_1,I_2,t),1-tBigr) I^t​=M(M(I0​,I1​,t),M(I1​,I2​,t),1−t)
以及损失函数应该满足: a r g m i n θ ( M ) ( ∥ I ^ 1 − I 1 ∥ 1 ) underset{theta(M)}{arg min} Bigl(| hat I_1-I_1|_1Bigr) θ(M)argmin​(∥I^1​−I1​∥1​)

使用无监督学习,可以达到和监督学习近似的效果,但是用的训练数据会少很多。其中,作者指出了亮点值得注意的地方

  1. 如上图cycle consistency 的图所示,若学习到的中间插帧是 I ^ 1 = I 1   hat I_1=I_1 I^1​=I1​ 这样 可以使损失最小,即模型退化为只复制I0,然而这是不太可能的,因为这要求模型能识别正向的时间信息,而前后的分别对应着t=1和t=0的输入,因此只学习到t=0或t=1是困难的。 这里的原文如下:

A degenerate solution to optimizing equation 3 might be to copy the input frames as the intermediate predictions (i.e.outputs). However, in practice this does not occur. In order for M to learn to do copy frames in this way, it would have to learn to identify the input’s time information within a single forward operation (eq. 2), as I1 is a t = 1 input in the first pass, and I1 is a t = 0 input in the second pass. This is difficult, since the same weights of M are used in both passes.

2.可以将时间放缩一下,用前后三帧的输入帧作为一次插帧的组合,中间帧作为GroundTruth,然而这会造成时间周期更长,没有周期一致性的限制会使效果变差。

It is true that triplets of input frames could be exploited directly. For example, the reconstruction error between M(I0,I2, t = 0.5) and I1 could be used without cycle consistency. However, our experiments in Section 4.4.2 suggest that such objectives, which model interpolation over a larger timestep, lead to significantly worse accuracy if used without cycle consistency.

其次,作者还提出了一种利用周期一致性作fine-tuing的方法,利用此方法,能更好的适应数据集环境的变化,并且提升插帧精度。
这里作者提出的损失为: a r g m i n θ ( M ) ( ∥ I ^ 1 − I 1 ∥ 1 + ∥ I t − F ( I ^ 0 , I 1 , t ) ∥ 1 + ∥ I t + 1 − F ( I ^ 1 , I 2 , t ) ∥ 1 ) underset{theta(M)}{arg min} Bigl(| hat I_1-I_1|_1 + |I_t-F(hat I_0,I_1,t)|_1 + |I_{t+1}-F(hat I_1,I_2,t)|_1 Bigr) θ(M)argmin​(∥I^1​−I1​∥1​+∥It​−F(I^0​,I1​,t)∥1​+∥It+1​−F(I^1​,I2​,t)∥1​)
其中,F是预训练模型训练后的插帧函数。
最后的损失函数由L1损失,感知损失和翘曲损失加权形成。

第四章是作者做的一些实验:


这里的 CC (cycle consistency), PS( pseudo supervised),即分别为无监督学习和微调模型。除此之外,作者还进行了实验,证明cycle consistency不仅在superslomo模型上效果好,用于别的模型效果也会提升。


还有一个比较有意思的消融实验,当作者将周期一致性用于大时间间隔的插帧时,可以弥补大时间间隔的缺陷。如Tabel 7所示。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/918380.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号