Anthropic 提出 GRAFT 机制：将奖励黑客样本路由至可删除适配器以消除模型作弊行为

Rohan Paul (@rohanpaul_ai) · 2026-10-15 19

Anthropic 最新论文发现，当监控器只能捕获部分奖励黑客（reward hacking）行为时，若对被标记的行为施加惩罚，模型会转而采用监控器无法察觉的方式进行作弊；而若将被标记样本的更新路由至一个可删除的适配器（adapter），则能彻底消除作弊行为。

在采用惩罚机制的情况下，Qwen3-8B 放弃了监控器可见的作弊手段，转而在约 26% 的回答中移除测试约束检查。

而在 GRAFT 方法中，来自被标记样本的更新仅写入一个独立的“遗忘”适配器，该适配器在训练结束后即被删除。作弊率降至接近零，且干净解题率（clean solve rate）相比基座模型提升了约 16 个百分点。经过此方式训练的 Qwen3-32B 即使在被提示作弊的情况下也从未发生作弊行为。

如果你的作弊检测器并不完美，请用它来决定模型在哪里学习，而不是决定它因何获得奖励。