Google 发布世界模型 Genie4，支持语音实时改变世界走向

以下是视频口播的自动转写，可能有错字。

谷歌发布了自己的新的世界模型，jenny four。这个呢大家可能不陌生，因为上一代的 jenny three 已经非常强了。这个呢是谷歌迄今为止最逼真、最具互动性的 ai 世界模型。用户呢只要张嘴说话，就可以实时改变未来的发展。谷歌 ceo 的劈柴宣布，从生成一段视频到实时运行一个世界，言出法随的时代到来了。

我也看了一些场景，整个的逼真性是远比上一代的模型强很多。如果上一代还是像一个游戏的引擎，这一代呢其实已经变成一个真实的 ai 渲染的视频的效果。整个的运镜，包括画面感，包括人物的一致性、真实性，都是远超于上一代的模型。同时呢，在原先的 jenny three 的基础上增加了音效。

比如说王家卫风格的香港大桥的飙车戏，再比如说进入化妆台的演员的入场的运镜的效果。整个的场景的建设呢也是非常快，用户只用不到一分钟时间就建了一个由马跟机器人共同居住的新哥特式粗野主义的城市。战争岩石稳定在23~25 ips，就是每秒钟的帧率接近了真实的视频效果。

随手点一下，巨龙绿控，一个巨龙几秒。便可以不虚而过。又通过文字输出，一个友好的水獭 npc 走过问候，几秒钟呢形象就出现了。谷歌自己介绍呢，jenny four 呢主要提升了四个关键的功能。第一呢，实时塑造世界模拟，就比如说通过自然语言将原有的世界突然的出现新的场景。

比如说一个男人在岛上吹萨克斯，敲下鲸尾出现，身后的水面又出现了鲸鱼。整个对于画面的逻辑性的理解是非常自然的，包括在青龙的画面中，突然有火球擦身而过。在拓展物理学跟人类的行为方面呢，jenny four 引入了全新的真实感标准。比如说在80年代的日本的乡村站，给一个 prompt，jenny four 就会喊出发车提示。

那其实对于物理世界的逻辑性，对于真实世界的场景的理解，以及对画面的历史元素和文化的认知呢，也是非常强。这里面一个案例呢，就是大理石半身像砸向西瓜，整个的瓜瓤跟汁水四溅的轨迹呢，也是很符合自然规律。无论是撞击感，还是柔体力学、空气力学的理解，jenny four 呢可谓手拿把掐。

最后呢，就 jenny four 可以模拟声音了。比如说在一个半透明的3d的彩绘玻璃中，用提示词召唤一只鹿。有趣的是它的脚步自动变成了清脆的玻璃碰撞声，而且呢对于整个场景的理解是很到位。背后驱动 jenny ford 呢，其实是它的一个混合世界模型，包括了它的多模态的世界模型，就是所谓的 jenny omni 和 jenny ford 是一个从视频模型到世界模型的组合。

jenny omni 3.8 flash 是它的文本模型，主要实现的是实时的闭环的导演，就是整个的视频的分镜理解，每一步的进展都是由 jenny omni 3.8 flash 来实现。最后呢是它的具身跟机器人的仿真，是由 jenny omni 4 ark 是它目前的最强的模型，加上 robotics 实现。

那举个来说，在一个视频的实现中呢，首先 jenny omni 3.8 flash 会在循环回路中充当实时的总导演，把用户的指令根据上下文和场景分析成下一步每一步的步骤，并保证画面在进行过程中的一致性。而针对需要更加复杂的场景，比如说仿真世界里的机器人的场景，jenny omni 4 ark 呢，会跟 jenny omni robotics 合作，在仿真场景里让具身智能和机器人在仿真场景下与实现极高物理一致性的画面的。

运转。这两个呢其实有点不一样，因为在视频模型中呢，每一帧的上下文的推进呢，是完全通过 diffusion 模型，靠自己的画面理解来实现。但在仿真环境里面呢，因为整个的3d的建模以及力学的体系是受约束的，所以更多呢其实在驱动仿真环境中的具身智能。

所以这也是为什么 gemini for argument 和 gemini robotics 需要用来驱动仿真环境中的事件的推进和画面的实现。gemini for 呢也准备进入真实的实验室做精密的科研，就是从仿真环境中走到真实世界。这块呢也是一样的，是需要更强的模型，就是 gemini for argument 和 gemini robotics 参与。

那从这次的谷歌的世界模型 gemini four 来看的话，未来的 agi 的路线呢，貌似更加收敛。原先我们思考的文本模型跟世界模型是两件不同的事情，现在在这个产品中呢，慢慢的统一到一起。无论是剧情的发展，画面的定义，还是仿真世界中的互动，文本模型都起了巨大的作用。

而视频模型从原来的需要几十秒甚至几分钟的生成时间呢，现在在不断的优化，在世界模型中只要40毫秒就可以生成，最长的可以生成到。2分钟，所以更加实时的视频生成以及文本模型对于画面理解和物理世界的推进呢，将成为整个 ai 界的模型大一统的方向的一个焦点。

有点像我们之前说的力学的同一场理论。现在呢，貌似 auto regression 自回归的文本模型和 diffusion 的 dit 的视频模型，再加上 robotics 巨深的对于物理一致性的认知呢，在世界模型这一个大框架下呢，得到了完美的统一。