入侵注意力头

英伟达联合其他实验室的论文指出，RAG、工具调用与长上下文场景中的无关文本主要通过削弱模型对问题的利用来损害性能，而非直接压制正确答案。研究在开源模型内部定位到一小组“入侵注意力头”，它们读取无关文本并削弱答案；在 7B 规模模型上屏蔽约 10 个头即可平均挽回 57% 的干扰损失准确率，接近需要干净对照运行的 97.6% 上限。