Rohan Paul (@rohanpaul_ai)T2·基座大模型
78 分
一篇新论文指出,模型在危险能力探针上的低分可能来自人为压制而非真实能力不足,因此单看分数几乎无法证明安全性。研究者用 LoRA 训练出一个“调节旋钮”,把 Qwen 模型拉向更小的 Qwen 模型,可在 1.9 分以内命中未见过的目标分数,而提示词诱导的偏差高达 42 至 47 分。更关键的是,该旋钮产生的新错误中最多 97% 集中在同一个选项字母上,这种错误分布特征可作为识别人为压分的信号。
Benchmark Score Suppression
通过微调或提示等手段刻意压低模型基准得分,使低分不再反映真实能力上限
一篇新论文指出,模型在危险能力探针上的低分可能来自人为压制而非真实能力不足,因此单看分数几乎无法证明安全性。研究者用 LoRA 训练出一个“调节旋钮”,把 Qwen 模型拉向更小的 Qwen 模型,可在 1.9 分以内命中未见过的目标分数,而提示词诱导的偏差高达 42 至 47 分。更关键的是,该旋钮产生的新错误中最多 97% 集中在同一个选项字母上,这种错误分布特征可作为识别人为压分的信号。