Apple Machine Learning Research·· 2 天前AI 评分20
Apple 研究：门控机制导致 SSM 先记忆后上下文学习，拖慢收敛
On the Importance of Gating: Memorization vs. In-Context Learning in State Space Models
AI 导读
Apple 与哈佛大学研究发现，SSM 中的门控机制会让模型先学到权重内的“记忆”解法，延迟甚至阻止其收敛到正确的上下文学习解法，即使架构与记忆容量并无根本限制。门控同时有助于提升长序列泛化能力。该结果解释了 SSM 在上下文学习与精确检索任务上落后于 Transformer 的原因。
来源：Apple Machine Learning Research · machinelearning.apple.com