思考模型接句子，世界模型要交出可交互的像素

语言模型处理的是知识和语言。Raia、Diego、Hang 在这期里把它叫作思考模型，例子是 Gemini。世界模型要的是另一件事：一块有地面的环境，以及里面的交互。它得有内部状态，知道世界现在是什么样；东西相撞、移动，或者人做了一个动作，世界会怎么变。场景可以没见过，也可以是幻想出来的。要给出的仍是这套环境里，物理比较可能的走法。

Genie 4 沿着这条定义往前放了三样：音频、用 Gemini 在环里控制生成，以及他们归到 Omni Flash 的写实。模型进产品和 API。它仍会出错，仍被他们放在研究区间里。主持是 Logan Kilpatrick，节目是 Release Notes。嘉宾只有名。下文不补姓。

原始来源：Introducing Genie 4。中文深度整理，非逐字翻译。本文依据人工英文字幕。现场演示的逐帧略去，只保留用来说明能力的那一层。Omni Flash、Argon、SIMA、3.8 Flash 按口播保留，不升成另一份型号表。帧率是他们的口播，不是一份公布的规格。

谱系从游戏环境长出来

DeepMind 先想的是游戏。智能体要在更丰富的环境里才训得好。于是问：能不能做一个世界模型，不停地生成新模拟，用来训练通用智能。

Genie 1 是他们自己都没把握的研究。它证明了能生成二维环境。训练数据是二维平台游戏。人可以控制向右跑、向左跑、跳，画面会跟着变。大约一年后的 Genie 2 扩到三维，看起来仍像游戏，不像真实世界，也不太实时，不太能交互。Genie 3 在这年一月放出。环境更真实，三维，实时，可交互。他们把这一代说成世界模型开始能宣称做成的时候。对用户来说，它是研究从「只能看演示」走到「可以试」的拐点，本身仍在前沿研究的早期。

Genie 4 把可用性再推一截，研究的身份没有拿掉。它会犯错。新的是那些开始真正能用的能力。从 Genie 3 起，模型能吸收更多种类的世界，并能实时响应，人可以控制里面的角色。Genie 4 是在这些面上再跳。

写实、自由控制、音频，是同一次增量

对照用了一小段 Genie 3。起始帧是一张图。初始帧里没被捕获的角色，看起来更像游戏。世界是静音的。Genie 4 把同一类场景做成能出声、能把镜头推近的样子。角色、手的动作都更细。他们说还不完美，落差已经大。写实背后是 Omni 这套基础。Hang 把音频说成这一代新增的模态：以前只能在场景里走、只能看见画面；现在同一个模型一起预测视频和音频。

数据上的理由很直。真实世界的数据本来就是多模态的。有视频就配着同步的音频。要建的是一个世界，声音和画面是这个世界的两块，不是两条无关的生成。

音频不止环境声和配乐。和场景里的人对话，是他们正在做的研究，复杂，离打磨完还远，但打开了以前没有的用法。对话不单靠 Genie 4。后面有一个 Gemini 在想：用户刚才做了什么，该怎么接。Gemini 带世界知识和推理，他们把它看成教学场景的一个条件。环里的分法是：Gemini 看上一帧，看用户想做什么，再决定下一拍该发生什么。扩散模型负责把世界生成出来。为了实时，这期演示用的是口播里的 3.8 Flash。他们也用 Argon 做过实验，尤其在机器人例子上，那种编排不一定实时。

控制从「逛」走到「模拟」。Genie 3 放出时，主要是导航：想象一个地方，再在里面走。这一代把自由控制的质量推上去，世界上做得到的动作才开始进得来。交互他们重点放在两套，第三人称角色退后。一套是自我中心，第一人称，用键盘鼠标实时转向。一套是镜头控制。Genie 3 里被记住的那种小龙玩具，属于更早的第三人称玩法。

暂停是研究界面上的方便。人要在流还在跑的时候打字、把文字插进正确的帧，很难。暂停让他们打得准。会不会变成给用户的能力，他们说要看反馈。文本怎么驾驭模型，也还没定：可以事先排队，可以中途插入文字，也可以走程序化动作。

创作上，他们看到的用途先落在预演、构思和分镜。粗糙的输入很快变成能看、能改的交互：放进一条龙、喷火、换镜头。中间结果本身就有用。

和上一代表面差别最大的三处，他们收成：写实、自由控制、音频。Genie 3 相对 Genie 2 已经是一跳，用户仍会说场景里的人是静止的，或者不按预期行动。爵士乐那段用来说明人的行为更像回事，他们仍说还有距离。音频被比成早就该有、缺了才知道缺的那一层。主持拿 Veo 作类比：Veo 2 没有音频，Veo 3 有了，差别就是这一层。

自我中心的手，是给机器人的轨迹

人在世界上移动，靠的是脑子里那个往前预测一点点的模型。接触会在什么时候发生，每一步之后会怎样，都靠它。人并不生成像素，但一直在做这种前向预测。他们希望机器人也有一个世界模型，用来做短的预测，以及稍长一点的预测，从而更灵巧，更接近他们想要的那种生物式运动。

起点是训练数据。如果能把世界提示成和机器人现场一样，就可以生成大量轨迹，不必每次都把真机摆成一场拍摄。再往前，是直接用 Genie 产出动作。模型知道下一拍会发生什么：重杯子和轻杯子、东西掉下去、卡布奇诺打翻，物理不一样。Raia 说这会是可泛化技能的一个口子，同时说研究就是研究，做成之前不能算数。

机器人同事录的一段拼字游戏，走的是这条编排：Argon 按用户意图起草字幕，Genie 渲染动作和像素。现场的真机他们形容像片场，摆一次任务要时间。模拟可以在棋盘的各种变体上把空间推理推到很远，让 Argon 和 Genie 一直跑。第一人称怎么完成一个动作，是他们希望以后迁到机器人上的那一部分。

代码记住状态，像素保留表达

主线语言模型的配方，主持概括成堆算力、堆数据、再加算法。世界模型不完全一样。他们要的是同一环境能一致地生成得尽量久。早先跑一会儿就会糊。现在能得到更长、更清楚、更写实的场景。边界还在。能力要继续加，模型还得小、得快、延迟得低，人才能真的走进去。

实时第一次跑通，是开发里的一个坎。配置怎么取舍、部件怎么优化，都试过，最后要在仍划算的成本上实时跑。Hang 说这不是线性的，不能把「把规模加大」当成答案。主持问，把全部 TPU 给他一个人，能不能跑到每秒六十帧。他们说没试过，不知道。能接受的口播大概在每秒二十四到三十帧。帧率管的是回放：多花算力、多生帧，播出来更顺。延迟管的是做了一个动作之后多久才看见。二十四这个数，是因为他们要在这个节拍上打断生成，把笔记本上的输入送进环里，下一小段帧还得及时流回去，不能一顿一顿。

代码已经能生成可交互的三维场景和游戏。问题是：还能生成代码的时候，还要不要 Genie。Raia 的回答是要，而且两条会叠上。生成式编码和生成式像素合在一起，跑起来可以更省算力，世界可以更持久，甚至同时容纳多个玩家。代码或三维当底层，状态就固定得住。人走到山另一边再回来，房子还是离开时的样子。纯生成的世界则保留表达：一条龙飞过，或者一切变成水彩、人突然在游泳。他们在团队里谈的就是这个平衡。结构换来跨时间的一致，不能把「什么都可能发生」拿掉。

主持记得 Genie 3 有上下文限制，大约三十秒或六十秒之后，探索过的部分会丢。这是他的记忆，这期没有把它收成规格。Raia 接的是产品含义：代码当后端，可以要无限的一致；世界模型的力量却在于它很能表达，而一致并不总是你要的。开放式体验他们在和一些实验室一起看。开放本身用代码表示，还是用像素表示，是产品问题。边界不清楚的东西，人最后会拿它做成什么，他们想交给 API 上的人。

Genie 4 仍放在 Project Genie，也会进 API。上一版的反馈是：要让人用模型做出他们自己没想到的用法。一个模型、一种部署不够。导演要的是准的镜头控制，另一个用户要的是别的。能用同一个模型覆盖的先覆盖，剩下的再补。

写实碰上实时，评测跟着模型改

输出带 SynthID。他们把这说成科学团队一直在推的水印，盖在 Gemini 和各路生成媒体上。实时模型上真正没图表可抄的，是写实和实时叠在一起之后，人可以模拟世界上的任何事。过滤和护栏要在实时里做，延迟和质量不能为了审查塌掉。

教育之外还有角色扮演。急救人员在灾难里会遇到什么，这种场景本来就不该把真人放进去。要有用，就得生成通常会被模型拦住的画面。张力在这里：让人远离伤害，同时让模型做不了坏事。他们把做法说成和 Omni 相同。普通公众的一般使用，和创作者、有明确目的的人，上下文不同。电影工作者有理由把提示写成某个样子。教育者有理由要一幅真实的战场。看谁在用、用来做什么。第一次放出去，护栏先要在。受信任的测试者是渐进放出的一部分：既收早期反馈，也看边缘情况。

Gemini 在环里，多了一层可以动手的智能。可以看生成物安不安全，到点切断；也可以看着场景，把场景从某个方向上领开。他们说这取决于具体情形，没有展示一条已经做成的例子。

评测被问到能不能像主线模型那样爬坡。厨房灶台排得怪不怪，这种差别很细。回答是：评测从来不够好，从来没准备好，模型和评测一起改。新的问题和想变好的方面会不断出现。这也是他们准备放出这一版的原因之一。DeepMind 前沿这边还有能玩游戏的智能体，SIMA 大约同期放出。他们希望这些智能体能自己在 Genie 的世界里探索，替人做评测。