至知创新研究院开源IQuestRT推理引擎
热点事件持续更新
至知创新研究院开源IQuestRT推理引擎
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
至知创新研究院发布并开源了面向 IQuest-Q1 的专用推理引擎 IQuestRT，代码已在 GitHub 公开，采用 Apache-2.0 许可证，并提供安装、运行和性能测试说明。 据该研究院称，在 8 卡 GPU、单请求条件下，IQuestRT 的解码吞吐量达到 910.70 tokens/s，为 vLLM 参考配置的 2.94 倍。 IQuestRT 针对 IQuest-Q1 及特定 GPU 计算架构和互连环境设计，需要 8 路张量并行和单个活动请求，暂不支持其他模型、GPU 架构及并行配置。
AI 根据报道生成 · 1 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
11月5日
- 公众号 · 新智元至知创新研究院开源 IQuestRT：IQuest-Q1 单请求解码达 910.70 tokens/s，为 vLLM 的 2.94 倍
至知创新研究院开源了面向 IQuest-Q1 的专用推理引擎 IQuestRT，在 8 卡 GPU、单请求条件下实现 910.70 tokens/s 解码吞吐量，达到 vLLM 参考配置的 2.94 倍。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。