StartLux开源决策模型推理引擎Prism
热点事件持续更新
StartLux开源决策模型推理引擎Prism
1 篇报道1 个报道来源5 小时前更新
先了解这件事
AI 综述
StartLux(原点星辉)开源了自研的决策模型推理引擎 Prism。据智东西报道,在单张 H200 上处理单个短问题时,它比原 vLLM 方案快 2.8 倍;同一材料连问三题时,最快提速 5.3 倍。 该模型有 16.55GB 的压缩版本,单块 32GB 显存的 RTX 5090 消费级显卡即可运行,报道称其输出效果对标专业级显卡 H200。 报道同时说明,decider 和 JevK5 两款引擎无法直接搭载 StartLux 原生模型,测试改用结构一致的替代模型,仅对比速度、不考核准确率;另有部分框架不支持 8 位量化,只能以更高精度运行。
AI 根据报道生成 · 3 小时前更新
最新进展10月23日 19:50
StartLux 开源首个决策模型推理引擎 Prism,推理最高快 5.3 倍报道时间线
沿着报道,了解事件的不同侧面。
10月23日
- 公众号 · 智东西StartLux 开源首个决策模型推理引擎 Prism,推理最高快 5.3 倍
StartLux(原点星辉)开源了首个面向决策模型的推理引擎 Prism,单张 H200 上处理单个短问题比原 vLLM 方案快 2.8 倍,同一材料连问三题最快提速 5.3 倍。
本事件热度走势
- 可比范围当前
- 9
- 可比范围峰值
- 910月23日 22:00
- 近 24 小时变化
- –
02.557.510
22:0023:0010月24日
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。