公众号 · 新智元·· 4 小时前AI 评分18
NeurIPS'26 | OASIS 给注意力加 null 选项,改善长上下文与低比特鲁棒性
NeurIPS'26 | 注意力也能弃权!改善长上下文、低比特鲁棒性
AI 导读
西北大学、伊利诺伊理工学院、罗格斯大学等机构提出 OASIS,为 AttnResidual 的 token 层与 depth 层路由同时加入显式 null 选项,并用 token 层 null 概率协调 depth 层分支选择,论文已被 NeurIPS 2026 接收。
来源:公众号 · 新智元 · mp.weixin.qq.com