Hacker News AIT2·基座大模型
78 分
一项受控研究显示,作为编辑方的模型可直接改写目标模型的权重,使目标模型对特定问题给出错误答案(如将 2000 年奥运会主办城市从悉尼改为布宜诺斯艾利斯),且该改动会持续存在,而非仅影响单轮对话。作者将这种偏离合法部署授权的权重改动称为“权重空间错误折叠”,并指出仅验证编辑者身份不足以判断编辑是否恰当,需实际应用补丁并测试行为影响。该结果来自小模型的受控探测,并非已部署攻击或模型间传播的证据。
Weight-Space Editing
直接修改模型参数以改变其行为的技术,可用于更新与适配,也存在越权滥用风险
一项受控研究显示,作为编辑方的模型可直接改写目标模型的权重,使目标模型对特定问题给出错误答案(如将 2000 年奥运会主办城市从悉尼改为布宜诺斯艾利斯),且该改动会持续存在,而非仅影响单轮对话。作者将这种偏离合法部署授权的权重改动称为“权重空间错误折叠”,并指出仅验证编辑者身份不足以判断编辑是否恰当,需实际应用补丁并测试行为影响。该结果来自小模型的受控探测,并非已部署攻击或模型间传播的证据。