论文实测 Claude Code 的 /retro 自我复盘：7 次有效测试仅 2 项改动彻底解决问题

不知道你有没有用过 /retro Skill，就是在编码任务完成后，让 AI 复盘刚结束的工作，列出几条修改建议，由人决定采不采纳。 除了 /retro 这个用在写代码上的，还有一些其他类似的复盘自我进化的 skill，听起来很美好：AI 干完一个任务后，回头看自己哪里卡住了，再提议修改 Skill，下次就不用再重复同样的弯路。这样不用重新训练模型，只修改 Skill 文件。 其实我一直是抱怀疑态度的，如果没有清晰的标准还是挺难自我优化好的。完全依赖人的话也难，一方面对人的要求有点高，另一方面每次这么做一下也挺累。 有篇论文《How Do Coding-Agent Harnesses Self-Evolve? An Empirical Study of Retrospective Adaptation》，专门测试了"让 AI 编程助手干完活后自己复盘、修改工作手册"的做法。 结果是，7 次有效测试里只有 2 项改动彻底消除了想解决的问题，有的改动还让 AI 在不相关的任务上多做了检查。 论文作者是新加坡管理大学的 Christoph Treude 和德国海德堡大学的 Sebastian Baltes，论文 10 月 26 日发布在 arXiv 上。 研究方法是这样的。 作者从 SWE-bench Verified 中选了 30 个问题，这是一套从真实开源项目里收集的代码修复题目，涉及 Django、SymPy、Astropy 等 Python 项目。 前 10 个是随机抽的，后 20 个专门从之前碰到过环境问题的项目里挑，比如项目里本来就有测试失败。Claude Code 每修完一个问题就运行一次 /retro，一共得到 125 条建议。 作者挑出 24 条让 Claude Code 落实，其中 11 项能拿来测试，再加上作者自己写的 1 项对照，共 12 项。测试时，在同一个项目里找另一个确认会出现同样问题的任务，用原来的设置跑 5 次，用改过的设置再跑 5 次，比较 AI 会不会再做那个本想避免的动作。 这次研究用的是 Anthropic 的 Claude Code，背后的模型是 Opus 5.5。 主要发现有四点： 1. 大部分建议有依据。 125 条里有 101 条针对的是任务中真实发生的事。另有 19 条的理由跟这次任务里发生的事无关，其中 18 条是建议

来源：X · 宝玉 · x.com