论文名称:Overfitting the data: Compact Neural Video Delivery via Content-aware Feature Modulation
论文链接:https://www.aminer.cn/pub/6125b6a95244ab9dcb41d662?f=cs
代码链接:https://github.com/Neural-video-delivery/CaFM-Pytorch-ICCV2021
本文首先研究了在神经视频传输中不同块的模型之间的关系,然后设计了一个拥有内容感知特征调制层(CaFM)的联合训练框架来压缩这些模型。
使得每个视频块只需要不到1%的原始参数就可以进行流处理,并且获得了更好的SR性能。此外,本方法也可以看作是一种新的视频编码方法,在存储成本相同的情况下视频质量优于H.264和H.265标准。
神经视频传输通过用LR视频和内容感知模型取代HR视频来节省传输带宽。整个过程如下图所示,共包括三个阶段:
- 在服务器上对视频块进行模型训练
- 将LR块与同内容感知模型从服务器传输到客户端
- 在客户端上解析LR块
在该过程中每个块都需要一个模型,这带来了额外的带宽成本。
AMiner,让AI帮你理解科学!



