公众号 · 新智元·· 2 小时前AI 评分31
至知创新研究院开源 IQuestRT：IQuest-Q1 单请求解码达 910.70 tokens/s，为 vLLM 的 2.94 倍
推理提速近3倍！Agent下场调引擎，两周反超人工精调
AI 导读
至知创新研究院开源了面向 IQuest-Q1 的专用推理引擎 IQuestRT，在 8 卡 GPU、单请求条件下实现 910.70 tokens/s 解码吞吐量，达到 vLLM 参考配置的 2.94 倍。
来源：公众号 · 新智元 · mp.weixin.qq.com