Today for AI
返回热点榜
llm热度 8.8°

AI 聚合热点事件 · 2026/10/23

OASIS 引入注意力弃权机制 提升长上下文与低比特鲁棒性

1 篇收录报道1 家独立信源交叉印证持续跟踪至 2026/10/23 09:00:00
全景综述与最新动态
1 家信源交叉印证

西北大学等机构提出 OASIS 架构，针对 AttnResidual 在深度路由中引发的激活异常问题，引入显式“弃权”（null）选项。该机制通过 Token 层 null 概率动态调整 Depth 层分支选择，显著降低激活峰度并优化量化性能。实验显示其在 W4A4 量化下 GSM8K 准确率相对提升超 40%，为增强 Transformer 表达能力提供了更稳定的跨层信息整合方案。

最新动向/西北大学等机构提出 OASIS 架构，针对 AttnResidual 在深度路由中引发的激活异常问题，引入显式“弃权”（null）选项。该机制通过 Token 层 null 概率动态调整 Depth 层分支选择，显著降低激活峰度并优化量化性能。实验显示其在 W4A4 量化下 GSM8K 准确率相对提升超 40%，为增强 Transformer 表达能力提供了更稳定的跨层信息整合方案。

热度曲线逐小时热度走势

14 个完整观测小时
当前
8.8
峰值
12.009:00
近 24h 变化
-27%

曲线只比较全程持续完整观测的同一批信源；缺口小时数据已插值平滑，保持趋势连续。

TIMELINE报道时间线

共 1 篇 · 最新优先
  1. 新智元 (微信公众号)T2·78 分

    OASIS 引入注意力弃权机制 提升长上下文与低比特鲁棒性

    原标题：NeurIPS'26 | 注意力也能弃权！改善长上下文、低比特鲁棒性

    • OASIS 为 AttnResidual 增加显式 null 路由，解决因过度关注初始 Token 导致的激活异常值激增问题。
    • 通过 Token-to-Depth 耦合机制，利用 Token 层的弃权信号协调跨层选择，提升模型鲁棒性。
    • 在 LLaMA-3.2、Qwen3 等模型上验证，平均降低激活峰度近 96%，W4A4 量化下 GSM8K Pass@1 相对提升 42.11%。
OASIS 引入注意力弃权机制 提升长上下文与低比特鲁棒性 | Today for AI