OpenAI 研究员离职两年研发 Jev 模型，主打快思考决策

以下是视频口播的自动转写，可能有错字。

哈喽，这两天一个新的模型引起了大家的广泛讨论哈，名字叫 jeff，是 OpenAI 的一个研究员，大概离职两年之后，潜心研发，然后做出了一个区别于以往的方式训练出来的一个新的模型哈。我觉得它特点非常的鲜明，而且呢性能非常的强，在特定的任务下，它可以用传统模型大概几1%的成本。

几百倍的速度，而且幻觉率非常低，生成一些你想要答案。然后这个这个事情就很有意思啊，因为它完全。选了一个不同于我们现在生成式 ai，就是 next token prediction。大家在卷的是更强的智能、更复杂的推理，然后能够调用 agent。

然后完成复杂的工作任务，这个方向。他其实找了一个非常小的一个点，就是说我们在做很多判断的时候，实际上是不需要等那么长时间，然后生成那么多 token。然后去消耗，实际上就给个大概的判断。给一个判断不同的结果的概率就行了。我举个例子哈，比如说在银行客服的这个场景下，如果我们用这种 ai 客服的方式，其实我们每次要给模型输入，而且模型要给我们输出。

这个时候就要等了好几秒，对吧？然后那给你的结果可能是，哎，这个事情要找哪个部门、找谁，然后客户的满意度可能比较差，然后需要进一步的关注，会给你一个这样的结论。但实际上，用了这个新的模型之后呢，它可以非常快，就是几百毫秒或者几十毫秒，就可以完成这个判断，就是我这个投诉可能是要优先发给这个账单处理相关的部门。

这个客户的流失率大概是多少？那以及我接下来要不要人工干预？需要人工干预的这个概率有多大？等等这些判断做完了之后，我就可以把这个任务派给某个部门也好，或者是人工接入也好。我就可以去做相应的调整和判断。所以这个效率，包括成本，就非常的强悍啊！就是他非常非常的快，他包括他现场演示的结构化的输出的那个过程，你可以明显的看到。

就是它生成的，歘就出出来了。然后那个传统的模型可能还要再一个一个字再去输出、做判断。所以它两个技术路线哈，其实是完全不一样的。那这个创始人在发布这个视频的时候，就是官方视频的时候，他也介绍到，原来我们用的这个叫RLHF啊，就是人类反馈强化学习。

其实我们强化出来的是一些符合人类偏好的这些回答，它不一定准确，但是我们喜欢，对吧？比如说更有共情能力啊，然后或者是它能够更理解我们。但是导致的问题呢，就是它会把一些回答的模式 drop 掉，就是可能人不喜欢，但是它是高效的回答问题的方式，那我们就没有了。

包括这个可信度、一致性上，它可能都会差很多。但是呢，他们用的这套方案叫 r l c d，就是 reinforcement learning calibrated decision，就是我是强化学习，我强化的其实是这个要给我一个可校准的决策。

可校准的意思就是，他在输出每一个答案的时候，都会附着一个概率，就是一个置信率。比如说。这个账单的问题哈，我要路由给账单处理相关的部门，这个概率大概是90%。但是呢，这个客户同时也说了一些其他的问题，我觉得这个问题优先派给其他的部门也是存在一定概率的，所以我也会给一个10%或者20%。

这个时候你就可以设一个阈值了，比如说如果他客户流失率、潜在流失率非常高，那我就可以直接人工去介入；如果他比较低，我直接可以让这个后面的AI模型来去回答这个问题，所以他就可以帮我们去。在不同的场景下去判断到底用什么样的智能来去解决这个问题。所以接下来我觉得这个模型哈，它会走到我们的生活中，就是走到我们的很多产业中。

因为以前可能很多情况下我们杀鸡用牛刀，或者说我们本不需要等那么长时间的，但是因为 transformer 这个整个模型的这个局限性哈，导致我们需要等待。但是有了这种新的模型，我们的响应我们的判断就可以更直接。如果真的在说，结合到自己的这个 agent 的编排上的话，我觉得也是可以借用这个模型的，因为现在我们的。

Agent，他去编排工作流的时候，他其实也涉及到大量的判断和验证的环节。那比如说，是不是它生成的内容是符合我们标准的？我们是，有的时候还是要需要做一些判断。但经常是 human in the loop，就是人在判断。但如果有了这样的一个模型的话，如果我们可以一开始就明确，哎，它的达标的三个条件大概怎么样？

他80%达标，还是60%达标，还是40%？那我们只有在40%非常低达标的情况下，人才去干预。如果他基本上都达标了，我们就不需要再 human in the loop 了，就我们不需要再去看看这个情况了。所以在未来，接下来这个 agent 编排的过程中，它也是可以发挥巨大的作用的。

这个模型呢，其实也是刚刚发了一个新的版本哈，包括它也没有公开它的技术路线和这些训练的细节。但是我觉得这个方向也是非常值得思考的，就是它是用了一个系统一的方式哈，就是快思考和慢思考，丹尼尔·卡尼曼那本书里面就讲我们人类大量的判断其实都没有用到我们的慢思考，我们是即时的，然后根据直觉进行了一个判断。

比如说今天要穿这双鞋还是穿这双鞋，你就。非常天然的，我运动前我会就穿这个球鞋，对吧？然后那我要上班，我可能就穿一个其他的鞋。所以这个判断其实是非常直觉的。那对 ai 模型来说也是一样，其实你不需要对每一次的判断都我要去生成，我要去思考，需要用思维链去推理。

那我可以用小模型，也可以用一个并行化计算的这种快思考的这种模型给你，也可以非常高效的去完成我们的任务和目标。所以这是我觉得它接下来可能会真正的会走到我们的这个整个的社会中哈，因为它便宜，对吧？然后又他不要钱，现在，因为他的成本实在是太低了，就是每百万 token。

才0.042美元，对比GPT6，它可能是10美元。那这个便宜的额度之之低啊，它所以他们现在不收钱，免费的，那可以来到很多的判断场景下去使用。那再接下来就是我们看到每一个软件，可能这个软件本身它背后也是有一套决策模型来支持的。那以前的这个分类器可能就需要人训练半天，对吧？

我们叫训练一个分类器。但是现在不需要了，现在这个模型直接可以帮我们去判断，根据情境来去判断一些特定的结果。所以相当于智能就已经融合到呃更多的软件中、一些决策场景中，我们更多的这种应用中，会看到越来越多这样的这个能力的这个扩散吧。对我觉得这个也是一个非常有意思的一个新的方向，去设想了一种全新的、不一样的去利用智能的方式。

以前我们也讲过啊，未来可能是属于小模型的，就是可能在不同的场景下，我们去使用跟场景匹配的智能。就够了，它不需要我们用非常贵的智能在每一个环境中。那接下来就是也是 token 经济嘛，我们最近也写了这本书，其实也是一样的思路，就是用最匹配的方式去实现我们的目标，就就挺好的。

对，然后这就是今天跟大家分享哈，关于这个 jet 的这些模型。现在他们也开放了这个 wait list，大家如果想体验的话，也可以先加入他们的 wait list。好，祝大家周末愉快！拜拜！