复旦等机构发布LoLBench长程代码评测基准

复旦大学、香港城市大学、香港中文大学等机构提出 LoLBench 评测基准，把 AI Agent 放进平均约 240 万行源代码的软件系统，考察其从功能提案到模块交付的完整过程。评测中 Agent 只拿到提案和实现前的代码仓，提案平均约 5000 个英文单词，并在断网 Docker 环境中运行以防检索上游实现，单任务限时 6 小时。 研究团队测试了 6 个前沿模型与 5 个脚手架的 28 个可用组合。Opus 5 搭配 Claude Code 或 mini-SWE-agent 以 14% 解决率并列最高，全部组合中位数仅 2%。

AI 根据报道生成 · 51 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。