OpenRouter 发布 LLM 基准测试教程

OpenRouter 发布了一套用代码评分来评测 LLM 的教程及配套代码，主张用应用的真实输入和输出格式构建可脚本校验的任务，并对比准确率、计费成本与请求耗时。OpenRouter 称，在其 60 个合成任务上，GPT-6.1 Sol 在三次重复共 180/180 次试验中全部通过，DeepSeek 响应成本最低但仅通过 157/180；该结果与公开排名的 Spearman 相关性仅为 0.109。 使用上，命令行默认只做离线校验，需显式开启 live 选项并获许可才会调用推理，付费运行须加 --live 标志；配套完整研究沙箱和原生 Ori 环境仅支持 Windows x64，并需 Python 3.12 或更高版本。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。