Apple 提出加权状态汤（weighted state souping），提升 SSM 长上下文检索效率

Apple 研究者提出加权状态汤（weighted state souping），为缓存状态学习依赖查询的权重组合，显著提升 SSM 在长上下文下的表现。该方法在单跳与多跳文档问答、needle-in-a-haystack 检索、变量跟踪和工具使用上均有改善，其稀疏变体在上下文长度增长时编码成本接近常数。论文已被 NeurIPS 2026 PALM Workshop 接收。