公众号 · 赛博禅心·· 3 小时前精选AI 评分60
记忆张量团队提出 MemT 1.0:把记忆存入模型参数,SWE-bench Verified 从 54.0% 升至 61.6%
如何让【模型本身】具有记忆:存入参数
AI 导读
记忆张量团队的 MemT 1.0 提出把记忆内化进模型参数,在主干部分 Transformer 层加入与注意力并行的原生记忆块,主干权重不做修改。技术报告显示,把 4 万多条代码轨迹总结出的 1,040 条经验写入记忆后,SWE-bench Verified 上三次全对的比例从 54.0% 涨到 61.6%,与把经验直接塞进对话持平。
选题角度
原文给出 MemT 1.0 的技术报告与开源代码,适合拆解记忆写入参数后 SWE-bench Verified 从 54.0% 到 61.6% 的机制与代价。
来源:公众号 · 赛博禅心 · mp.weixin.qq.com