术语slug: weight-self-editing

权重自编辑

Weight Self-Editing

模型在无梯度条件下通过推理直接修改自身参数以修复失败行为的自我改进方法

收录情报动态

共 1 篇 · 第 1/1 页
Rohan Paul (@rohanpaul_ai)T2·基座大模型
78 分
斯坦福等机构发现 27B 开源模型可自主编辑权重自我提升

斯坦福等机构的新论文提出一种无需训练与梯度的自我改进方法:让 Qwen3.5-27B 在梯度屏蔽下访问自身权重、带评分的练习答案与 Python 会话,通过推理对比答完与截断两类答案的隐藏状态,削弱区分二者的方向,从而直接编辑权重。在预先固定的 490 道未见题目上,准确率从 57.2% 提升至 63.8%;2B 模型未能产生有效编辑,4B 与 9B 模型则出现自我损伤。