跳到正文
抖音 · 杨博士说AI· 杨博士说AI·· 8 天前精选AI 评分76

OpenAI 为 GPT 上线 Intelligent UI 与交错思考功能

GPT推出Intelligent UI #ChatGPT #codex #人工智能 #vibecoding

AI 导读

OpenAI 为 GPT 上线名为 Intelligent UI 的新功能,回答不再只是文字,而是可点击、可拖拽的交互界面。该功能由可流式渲染的组件库加编译器组成,模型边生成边渲染,官方演示包括找北极星星空图、麻将动画和手柄乒乓游戏。同时推出的交错思考让中间结果提前交给执行层,GPT-6 Instant 开始回答的时间比 GPT-5.6 Instant 平均提前 44%。

打开原文douyin.com
选题角度

博主拆解 OpenAI 新上线的 Intelligent UI 与交错思考,用北极星、麻将等官方演示讲清组件化渲染流程,适合做功能解读。

博主
杨博士说AI@43806858570

Agnes 创始人|全球 Autonomous Intelligence 倡导者 毕业于 Berkeley(数学 × CS,最高荣誉),HEC Paris 创新创业硕士,NUS Computing 博士研究者。 曾打造千万级全球产品,现带领 Agnes 构建世界领先的 Agent-native Foundation Models 与 Harness 系统,重新定义 AI 如何理解世界、调用工具、执

互动数据
点赞
164
评论
5
分享
24
收藏
59

数字来自平台,为最近一次抓取时的数据。

正文

以下是视频口播的自动转写,可能有错字。

OpenAI 给 gpt 呢上线了一个叫 intelligent ui 的新的功能,比较有意思。就是你问 gpt 一个问题,它回答的未来就不是一段文字,而是可能是任何一种界面,可以点,可以拽,可以玩。那这个呢其实有点像我们之前说的 artifact,唯一的不同呢就是 artifact 呢其实是 ai 自己写的 html,配合它写的前端的渲染的 css、javascript 这个。

而这次呢,OpenAI 把这个过程完全流水线化。具体讲一讲细节,首先呢,OpenAI 推出了一个自己的宣传片,里面呢对比一下原先在没有这个 intelligent ui 的时候呢,很多内容都是文字,文字呢理解世界呢,其实对人类来说还是比较费力的。

比如说一个颜色, peach 需要用一段文字, a light warm orange with a gentle creamy feel 来去形容,很难理解,很抽象。现在呢不一样,所有内容呢都希望用界面来表示。比如说 OpenAI 自己的几个演示中,展示了对应的内容。

怎么找到北极星?那 gpt 呢直接做了一张星空图,通过几个按钮就能实现找到北极星的一个交互。另外案例,教我打麻将,直接展示的是一段大麻将的一些对应的用 html 写出来的动画。下面有每个麻将对应的意思。再包括,比如说做一个基于手柄的乒乓游戏。

比如说,莫奈怎么把水画的像流动?以及呢,帮我家狗做一套酷炫的背心。这些内容呢,其实背后逻辑呢,就是 gpt,通过代码的形式,配合生图的能力,形成的一个网页。那和原来的模型直接写 html 有什么区别呢?实际上呢,OpenAI 呢是把这个过程呢,做的非常流水线化。

这里面包含两个模块,第一个模块呢,就是先准备了一套原生的,可流式渲染的组件库。理解呢,是他已经把可以需要产生的各种 css 文件包装成各种小的模板。这模板呢,不用从零开始写代码。第二部分呢,就是配了一个编译器,模型一边生成,界面一边在屏幕中显示出来,就是怎么去编译这些代码,编译这些模板,组装在一起,这个就是 OpenAI 的 intangible ui 的逻辑。

我个人认为呢,其实并不是很难,只不过 OpenAI 呢从产品层面更进了一步,把原先五花八门的 html 生成的逻辑呢,直接变成了对于各个组件的一个调用和拼接。与此同时呢,OpenAI 也推出了另外一个很重要的能力,叫做交错思考,intelligent thinking。

原先的模型呢,需要回答问题的过程中。分两部分,前部分呢主要是做我所有的 thinking 第二部分呢是图答案。那实际上在 thinking 的过程中呢,已经有部分的中间结果,完全可以同步的把中间结果交给执行层去生成答案,再同步的去进行下一步的思考。

这个就是 interleave thinking 的背后的逻辑。当然也存在一种可能性,就是前面的思考呢,后面要推翻。这种情况下的话,应该会调整中间状态输出的结果,做一个完整的刷新。那在 interleave thinking 的加持下呢,gpt6 instant 开始回答的时间比 gpt5.6 instant 平均提前了44%这可以理解成正式的回复的 ttf time to first token 主要节省的时间,这44%呢,就是 thinking 过程中不需要等待 thinking 完全结束就可以回答问题。

那我最后总结一下,intention ui 呢,我觉得是一个非常好的交互形式,让未来的人机交互呢,变成更加的直觉化。很多的文字内容呢,其实变成代码,对 ai 来说是很简单的。但是前一代的模型呢,都是以文字为主,而代码生成的这些展示内容呢,完全可以组件化,这样减少了从零开始搭建,写组件的这些时间,以及试错的可能性。

实际上呢,我们认为这部分能力呢,并不是很难实现。本身在互联网时代呢,已经有很多非常成熟的 ui 小组件,无论是 css 还是配合的 html 和 javascript 而选择什么样的组件来搭建网站这件事情呢,最近的 ja 模型其实是一个非常好的补充。

因为 ja 模型最擅长做的就是做选择题,在理解了用户意图的基础上去做执行。那 intelligent ui 呢,可以理解呢是分成了三部分。第一部分呢,是理解用户意图,去形成一个 ai 的布局。第二部分呢,是准备一个完整的组件,用 ja 模型选择对应的组件中的一个子集,搭建整个的页面。

第三部分呢,再通过一个在线的编译器,把整个的内容渲染出来给用户。那也期待着其他的模型公司,包括我们能快速的匹配这样的能力给到用户。

来源:抖音 · 杨博士说AI · douyin.com