Gaussian Splatting – A$AP Rocky "Helicopter" music video
A$AP Rocky 的《直升机》音乐视频:辐射场技术的创新应用
A$AP Rocky 的最新音乐视频《直升机》因其混乱的运动感和早期的 MTV 风格而备受关注。 然而,值得注意的是,该视频中几乎所有的人类表演都采用了体素捕捉技术,并渲染为动态高斯点(dynamic splats)。 这代表了辐射场技术在主流音乐视频中一次大胆的应用。
技术背景与创作理念:
- 体素捕捉: 视频团队选择了体素捕捉技术,并非为了技术炫耀,而是为了实现导演 Dan Strait 设定的目标:在后期制作中拥有对人像表演的自由度,这在传统拍摄和视觉特效流程中难以实现或成本过高。
- 高斯点渲染: 该项目利用了高斯点渲染技术的快速发展,使得将体素数据转化为视觉效果成为可能。
- A$AP Rocky 的先例: 这并非 A$AP Rocky 首次使用辐射场技术。他在 2023 年的《Shittin’ Me》音乐视频中也使用了 NeRF 和 Instant-NGP 的 GUI。
制作流程:
- 拍摄: 8 月在洛杉矶进行的主要拍摄使用了 Evercoast 的 56 台 RGB-D 相机阵列。演员通过钢丝悬挂,进行倒立、拉伸、挥舞道具等高难度动作。
- 数据量: 拍摄过程中产生了超过 10TB 的原始数据,最终渲染出大约 30 分钟的最终高斯点渲染视频,导出为 PLY 序列,总计约 1TB。
- 后期制作: 数据导入 Houdini,使用 CG Nomads GSOPs 进行操作和排序,使用 OTOY’s OctaneRender 进行最终渲染。
- 实时预览: Evercoast 提供了多种实时预览功能,导演可以在拍摄现场获得空间反馈,并快速生成基于网格的预览,这大大加速了决策过程。
- Blender 和 WildCapture 的应用: Blender 用于布局和预演,WildCapture 的内部工具则用于引入时间一致性,并创建姿势估计骨骼,支持碰撞设置和物理模拟。
技术亮点:
- 动态高斯点: 视频中所有人物的动作都是真实表演,体素捕捉技术保留了这些动作的空间信息。
- 可重照明: OctaneRender 的支持使得团队能够对高斯点进行重照明,引入阴影,从而获得更具立体感的视觉效果。
- 自由度: 体素捕捉技术摆脱了传统摄像机的限制,允许后期自由探索、重新定位摄像头、打破空间连续性,并以 2D 拍摄无法实现的方式重新组合表演。
误解与真相:
许多观众认为视频中的画面是 AI 生成的,但实际上,每个特技、挥动和跌倒都是真实表演。 体素捕捉技术赋予的自由度,使得画面具有一种合成感,但它并非取代现实,而是保留了现实的一切。
总而言之,《直升机》音乐视频展示了辐射场技术在主流音乐视频制作中的创新应用,它不仅提供了前所未有的创作自由,也为未来的视觉表现形式开辟了新的可能性。