Jev 无法深度思考：小模型做决策、大模型补推理的混合路线

以下是视频口播的自动转写，可能有错字。

最近网上有很多的玩家基于 java 模型又做了各个类型的应用。比如说 browser use 公司就围绕 java 呢开源了一个 java ultra fast 项目，将 java 呢用于浏览器的 agent 的高频的动作的决策。它的逻辑呢就直接读取浏览器的 dom，将网页中的可交互的元素转换成了结构性的状态，再让 java 决定具体什么操作，操作哪个元素。

那这个呢整体效果应该算是很不错的，因为每轮决策只需要一次模型请求，减少了网络返回和中间推理的步骤。如果需要输入具体文本的场景呢，系统再调用一个小型的文本模型生成内容就可以了。理解呢，java 呢负责决策和模型间的沟通，而小文本模型呢负责最后的文本生成，完成最终的与人类用户的交互。

不同模型担任不同的角色，而不是让一个大语言模型覆盖整个 agent loop。那 jeff ultra fast 呢给了几组公开的测试结果，比如说7秒完成了航班的检索，对比用大语言模型的 agent loop 呢，整个耗时压缩了25%，单次的任务成本呢大幅下降，降至了0.

0039美元。按照 jeff 自己的说法呢，应该是大语言模型的一到两个数量级的成本的下降。那类似的 ipass ai lab 呢，开源了一个纯本地的 browser use agent skill，调用了本地端的千问3.5模型，设一个9b的模型，复刻了 jeff 的 system one 离散打分的一个思想。

那所谓 system one 呢，就是一个 bert 的逻辑，就没有用到 auto regression 的 thinking，就是传统的 jeff。比如说项目公布，从 wikipedia 的英文首页出发，检索并打开介绍 python 编程语言的词条，严格校验最后的 url 和网页的标签测试中呢，千问的9b模型的三次耗时分别是4.055秒、3.935秒和4.067秒。

这个呢其实对于本地的模型来说耗时是完全可以接受的。当然可以分享一下为什么一个千万的模型可以改造成 jeff。对呢，其实诺基亚是联合了腾讯的混元，开源了一个项目叫 any jeff，那就是任何的权重的大圆模型都可以改成一个 jeff 模型。逻辑也很简单，因为 decoding 过程中的最后一步呢是生成 logits，在 logits 中呢选择概率最高的次元。

那类似的，java 呢其实也是把最终的选择题给出的每个发选项映射成了一个 token 词源，然后呢就变成 java 在做选择题中的执行度。当然，any java 呢也提出了很多 java 模型中的问题，比如说在选择题题干中的选项顺序改变的时候呢，往往会影响最终答案。

换句话说呢，在读题过程中的选项的前后顺序对最终答案是有干扰。any java 在解决这个问题的方式呢，是通过不同位置的干扰数据做了一个 bias，就是偏见的一个清零。通过把偏见清除掉之后，再做测试呢，它的因为顺序得到干扰呢，从原来的0.23降到了0.073，就是概率降到了10%以内。

除此之外呢，any java 也提出了一个观点，就是由于 java system one 在决策过程中没有用到 thinking，所以准确性会受到影响。可以用多次看题目和多次答题的方式呢，去进一步提升它的准确性，就是传统说的 top k 的做法。

但是并不表示呢，k 个选项就要读 k 遍。其中呢，他们也寻找到了每个问题的。最佳的读题的次数，这样呢在不增加更多算力的情况下，尽可能的提高它的准确性。那我想跟大家分享的是，其实 java 呢给了一个非常好的未来的模型的发展方向，就是很多的问题在不需要 auto regressive decoding 的推理的情况下，太大的问题呢完全是可以用 java 来完成的。

这里面呢减少了对人类语言的一些非确定性的问题的理解，需要的算力也减少了模型之间的沟通的一些低效。因为人类的语言呢之所以保持着 freestyle 这种非结构性呢，是因为人类其实是很难共享认知的。不同人之间呢，为了减少误差，没办法，只能用更多的语言去增加沟通的一些容错率。

但是模型之间呢，其实是有非常高度的认知的协同，所以呢对于结构性的数据和结构性的信息呢，认知的准确性反而会大幅提升。这也是为什么这样模型存在的意义，一个 j 上进 j 上出的方式呢，其实既减少了沟通中的冗余，也提升准确性。但本身呢其实自回归就是 auto regressive decoding 的过程中呢，其实 thinking 就是推理过程是很重要的，单纯的只是。

按照上下文和命题直接给答案呢，其实并不一定给予了足够多的时间让模型去理解表面的逻辑之后的一些潜在条件。这些潜在条件呢，其实人类的推理的过程呢，给出了一个非常清晰的路径，也就是为什么我们要提出的三思而后行。所以呢，jave 呢，并不能完全的替代整个的 agent 操作系统，但是呢，却可以把一些需要立即做决策的一些环节进行速度的提升和成本的压缩。

所以未来的智能系统呢，大概率呢是一个路由的系统，在条件允许的情况下，更多的使用 jave，但是在需要规划，需要长时间的思考，需要去做完整的逻辑电路的梳理的过程中呢，依然需要用大语言模型。现在呢也推出了一个 jave 的 system two，就是其实还是 auto regressive 的一个有推理过程的选择决策题的一个模型，只不过呢是在最后的输出过程中呢，是按照 jave 的结构。

那这样的一个系统呢，其实并没有节省算力，但是呢算是一个对 jave 这样的一个强 type 的结果的一个约束情况下的一个对 thinking 能力的补充。所以呢未来呢谁可以搭建。建一个 llm 和 java 的模型的有效结合体呢，谁就有可能去既提升模型的效率，也能保证最终的准确性。