跳到正文
X · 百度文心·· 2 天前AI 评分22

ERNIE Evolve 在极限解码速度上再提升 14.9% 吞吐

Extreme decode speed was already heavily optimized. ERNIE Evolve still found 14.9% more throughput by iterating across the main model, MoE scheduling, quantization/fusion, and the draft model. https://t.co/OkYw8E6cw1

AI 导读

ERNIE Evolve 在解码速度已高度优化的基础上,通过在主模型、MoE 调度、量化/融合与草稿模型上迭代,额外获得 14.9% 的吞吐提升。原文未披露具体版本号、参数量或可用性信息。

打开原文x.com
博主
Baidu ERNIE@Baidu_ERNIE

粉丝 3786

Foundation model family built by @Baidu_Inc. 🤗 https://t.co/xdqfVxgtTh 💬 https://t.co/kv5s6nWDsb

互动数据
浏览
171
点赞
0
评论
1
分享
0
收藏
0

数字来自平台,为最近一次抓取时的数据。

来源:X · 百度文心 · x.com