在二十多年前上映的电影《黑客帝国》中,有一个慢动作深深地刻在了人们的脑海中:当卸下的子弹高速冲向主角时,主角向后一靠,子弹从身边掠过。这个短到连秒都无法计算的过程,最终被电影团队用特效技术360度呈现出来。著名的“子弹时间”也来源于此。
北京大学博雅特聘教授陈宝全将《子弹时间》从电影的后期搬到了体育比赛的转播中。陈宝全是“科技冬奥”重点专项——冰雪项目的交互式多维观赛体验技术与系统项目负责人。“电影里的镜头时间只有几秒钟,而且都是后期完成的。我们在比赛的实时转播中使用了它,这实际上是一个非常大的挑战。”陈宝全坦言。
北京大学博雅特聘教授陈宝全。照片由受访者提供
在竞赛中,整个实时“子弹时间”的研发有哪些难点?对于普通观众来说,这样的技术和系统将如何提升观赛体验?它将如何在后冬奥会时代发挥作用?
任意角度自由观看,实时呈现是最大的挑战。
打开手机里的APP,你会看到一张冰球比赛的图片。不同于日常的比赛观看,在这款应用中,观众可以前后滑动,切换观看角度,甚至比人在比赛现场看到的还要多,就像拥有了“上帝视角”。
这种独特的观看体验是自由交互技术应用的结果。“以前看比赛的时候,在一个固定的地方放几个摄像头拍比赛,导演不停地换座位,这样就可以给观众呈现不同的视角。”陈宝全说,传统观看模式下,观众能看到的画面是统一的,相对固定的。
陈宝全介绍,在“自由视角”技术下建立的互动多维观影体验体系,可以帮助观众实现全新的观影体验。“在观看比赛的过程中,你可以不断变换观看点,选择自己喜欢的角度观看同一个赛事。相当于每个观众看到的画面,符合自己的需求,可以千差万别。”
从游戏画面拍摄、云端渲染、数据传输、平台呈现,独特的游戏观看体验背后,涉及画面拍摄与制作、内容设计与生成、编码与传输平台、交互智能终端、系统建设。
在陈宝全看来,项目最大的挑战是实时呈现游戏画面。
“电影之类的特效都是后期制作完成的,一个一秒钟的画面可能要几个月。但是我们想在看比赛的时候实时看到这个效果,比赛的转播最多有30秒的延迟。”陈宝全说,所有内容要在30秒内完成。“实时性要求很高。表面上看起来和影视特效差不多,但实际上是一个巨大的挑战。”
同时,体育比赛的特点对射门效率要求更高。
“如果你想在电影中实现这个画面,你可能会拍一个人,然后在他周围设置几十个摄像头,摄像头会离拍摄对象很近。”陈宝全说,不像在狭窄的空房间里用几十台摄像机拍摄,比赛场地空比较宽,要拍的题材多很多。
陈宝全解释说,一个标准的冰球场地可能有200多米的跑道。每个摄像机放置的位置称为视点。一个视点可能覆盖10度,所以需要36台摄像机在场馆外环360度拍摄。跑道上设置了三十六个摄像头,每个摄像头之间的间隔是几十米。这样图片就连不上了,就卡了。然后你需要设置更多的摄像头。”
但是摄像头怎么布置,有多少个摄像头,这些都要精确计算。陈宝全说,不仅要考虑比赛场地的大小,还要考虑摄像机能够覆盖的拍摄范围,同时还要考虑传输到屏幕上的数据量。
该团队正在进行模拟测试。照片由受访者提供
保证画面流畅,用虚拟摄像头“脑补”游戏画面。
不断滑动切换视角,放大缩小查看运动员动作……2021年12月31日,记者在北京大学前沿计算研究中心感受到了从任意视角自由观看比赛的神奇,也看到了视频图像的“行云流水”。
事实上,并不是所有这些照片都是由相机拍摄的。
陈宝全解释说,假设每个摄像头都有编号,画面是通过连接1号、2号、3号摄像头呈现的,为了360度无死角看清楚比赛,拍摄的画面要尽可能多,这样画面才能衔接流畅。“但如果摄像头多了,传输的数据量就大了,传输和存储的压力就大了,成本就高了。”
如何平衡画面的流畅度和传输数据的量和成本?项目组成员选择在两个摄像头之间增加一个新的视点,即设置一个“虚拟摄像头”,专门用来“脑补”两个摄像头之间可能出现的画面。“1号摄像机捕捉到了镜头,2号摄像机也有镜头。我们会用“虚拟摄像机”来计算你在1号和2号之间可能会看到什么样的场景。”
播放时,将摄像头拍摄的这些画面与虚拟摄像头“脑补”的画面结合,实现画面的平滑过渡。“那如何保证‘虚拟摄像头’计算出来的画面准确合理?”陈宝全解释说,项目组为它配置了一个“智能大脑”——关键是对捕捉到的图像实施“三维重建”,从而使合成新的观点成为可能。
有了流畅的画面,接下来就是如何让观众切实享受这种流畅。为此项目组开发了自适应编码和传输技术,可以根据用户的视点变化意图预测下一步的趋势,进行有针对性的计算和数据传输。
“通过实时预测,避免了简单粗暴的计算和数据传输,也保证了8K数据的高效供给用在平稳观看这种刚性需求的‘刀刃’上。”陈宝全说,所有的计算都在云端完成。“数据传输到云端,计算完成后传输到查看平台。”
第一次在国家体育馆按U型架设摄像机,测试冰球,第二次测试花样滑冰;第三次在五棵松体育中心按照O型架设摄像机,测试冰球项目...从2021年4月开始,陈宝全和项目组成员针对不同的比赛,在国家体育馆、五棵松体育中心等不同场地进行测试。
“每次测试都有点不一样。”陈宝全回忆,第一次主要是测试直播,看画面传输有没有问题。“一开始每个摄像头的分辨率都设为2K,后来逐渐提高到4K,这样整体画面会更清晰。当然,这对计算能力和数据传输有更高的要求。”
完善算法和智能跟踪,探索未来更多的可能性。
场地的水平度会影响摄像机的架设,分辨率会影响画面质量...在一次次的测试中,观看冰雪赛事的互动多维度体验技术和系统也在慢慢找到新的改进。自2019年12月23日项目正式启动以来,在短短两年多的时间里,陈宝全带领团队成员为项目画上了一个近乎圆满的句号。
陈宝全告诉记者,从系统升级的角度来看,未来座位数可能会进一步减少。“摄像机中间的画面可以用这些摄像机画面重建,将从50个摄像机缩小到40个摄像机甚至更少。也有可能实现重构,但这对于算法的‘智能’有更高的期待。”
此外,陈宝全建议目前设定的相机焦点位于会场中央。未来有可能使用智能摄像设备实现焦点移动和跟踪,更清晰地展现一个运动员的风采,带来更震撼的观看体验。
“未来,我们可能会在此基础上做出另一种呈现形式。”陈宝全播放了一段模拟运动员打冰球的视频。“其实相当于做运动员的‘身体替身’,其中的动作都是从真实的比赛中提取出来的。接力摄像机可以在赛场上追逐运动员。与目前的相机设置相比,位置更灵活,拍摄的图像更具吸引力。”
陈宝全说,“我不是说给观众看这个,因为它毕竟是虚拟的,观众可能会觉得没有真实感,像个游戏。但是对于裁判或者对于教练来说,如果要做比赛分析和复试,那就很有意义了。”
还有不到30天,2022年北京冬奥会就要拉开帷幕了,陈宝全的团队还在完善升级系统。
新京报记者编辑苗校对



