Apple研究：门控机制拖慢SSM上下文学习

Apple与哈佛大学研究发现，状态空间模型（SSM）中的门控机制会让模型先学到权重内的“记忆”解法，延迟甚至阻止其收敛到正确的上下文学习解法，即使架构与记忆容量并无根本限制。 研究同时指出，门控有助于提升长序列泛化能力。该结果被用来解释SSM在上下文学习与精确检索任务上落后于Transformer的原因。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。