1. Genie 2: A large-scale foundation world model (deepmind.google)
Genie 2:大规模基础世界模型
核心概念 Genie 2 是一个由谷歌 DeepMind 开发的基础世界模型。它能够基于单张提示图片,生成无限多样、可由人类或 AI 代理通过键盘和鼠标操控的交互式 3D 环境,用于训练和评估具身智能体。
关键突破 相较于主要生成 2D 世界的前代模型 Genie 1,Genie 2 实现了从 2D 到 3D 世界的重大飞跃,在生成内容的丰富性、多样性和通用性上取得了显著进步。
主要能力
- 动作控制:能智能响应键盘输入,正确操控场景中的特定角色或物体。
- 反事实生成:可从同一初始画面生成不同的交互轨迹,用于模拟不同选择下的经历。
- 长期记忆:能记住并正确渲染离开视野的物体,保证世界一致性。
- 长视频与内容生成:能持续生成长达一分钟、逻辑一致的新内容。
- 多样化环境:可生成第一人称、等距、第三人称等多种视角的环境。
- 丰富的世界模拟:
- 3D 结构:创建复杂的 3D 场景。
- 物体交互:模拟爆破气球、开门等互动。
- 角色动画:为不同角色生成多样化的动作。
- 物理效果:模拟水、烟、重力、光照、反射等物理现象。
- NPC 行为:模拟其他智能体及其复杂交互。
应用场景
- 快速原型设计:研究者能快速利用文本生成图像(如 Imagen 3)创建并试验全新的交互式环境,加速具身 AI 代理的开发流程,甚至能将概念艺术图转化为可玩环境。
- 部署与评估 AI 代理:可为 AI 代理(如合作开发的 SIMA 代理)生成训练中未见过的评估任务。SIMA 代理通过自然语言指令在 Genie 2 生成的环境中执行任务(如开门),展示了其作为训练和测试平台的价值。
技术架构 Genie 2 是一个自回归潜在扩散模型。它在大规模视频数据集上进行训练,使用类似大语言模型的因果掩码。推理时,模型基于动作输入和过去的潜在帧自回归地逐帧生成。采用无分类器引导来提升动作的可控性。当前展示的样本来自未蒸馏的基座模型,而蒸馏版本可实时运行。
研究状态与展望 该研究仍处于早期阶段,在环境生成和代理能力方面均有提升空间。团队认为,Genie 2 为解决训练通用具身智能体所需的安全、广泛且多样化的训练环境这一结构性难题提供了路径,有助于推动通用人工智能(AGI)的发展。研发过程秉持负责任的态度,旨在构建能安全、有益地帮助人类的通用 AI 系统。