OpenRouter 如何用代码评分基准测试 LLM

OpenRouter 提出用应用真实输入和输出格式构建可脚本校验的任务来评测 LLM，并对比准确率、计费成本与请求耗时。在其 60 个合成任务上，GPT-6.1 Sol 在三次重复共 180/180 次试验中全部通过，DeepSeek 响应成本最低但仅通过 157/180。该结果与公开排名的 Spearman 相关性仅为 0.109。