跳到正文
公众号 · 智东西·· 6 小时前AI 评分34

StartLux 开源首个决策模型推理引擎 Prism,推理最高快 5.3 倍

DeepSeek之后,StartLux再来:开源首个决策模型推理引擎,推理快至5.3倍

AI 导读

StartLux(原点星辉)开源了首个面向决策模型的推理引擎 Prism,单张 H200 上处理单个短问题比原 vLLM 方案快 2.8 倍,同一材料连问三题最快提速 5.3 倍。

打开原文mp.weixin.qq.com

来源:公众号 · 智东西 · mp.weixin.qq.com