研究：AI基准覆盖不足九成美国工时

Mercor 发布的一项分析称，90% 的美国工作时间花在现有 AI benchmark 几乎未覆盖的任务上。该分析基于 O*NET 的 923 个职业、18797 项任务，选取 29 个 benchmark；一项 O*NET 任务被其 LLM 判定匹配至少 5 条 prompt 才算“覆盖”，不足 5 条则不计入平均。 结果显示，仅 208 个职业有任务被覆盖，22 个职业族中 6 个完全无覆盖。覆盖偏向高工资职业：律师任务覆盖充分，法律秘书、法庭书记员等中等收入知识工作明显不足。研究还限制了每个职业族纳入的 benchmark 数量，以缓解软件工程与研究任务在热门基准中的过度代表。 Mercor 称这些结果是暂定的。纳入的 benchmark 均至少有 25 个公开任务，并包含 Mercor 自有 APEX 基准的保留 prompt。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。