Rohan Paul (@rohanpaul_ai)T2·基座大模型
78 分
斯坦福等机构的新论文提出一种无需训练与梯度的自我改进方法:让 Qwen3.5-27B 在梯度屏蔽下访问自身权重、带评分的练习答案与 Python 会话,通过推理对比答完与截断两类答案的隐藏状态,削弱区分二者的方向,从而直接编辑权重。在预先固定的 490 道未见题目上,准确率从 57.2% 提升至 63.8%;2B 模型未能产生有效编辑,4B 与 9B 模型则出现自我损伤。
Hidden States
模型各层内部激活表示,本文用其区分答完与截断答案的差异方向
斯坦福等机构的新论文提出一种无需训练与梯度的自我改进方法:让 Qwen3.5-27B 在梯度屏蔽下访问自身权重、带评分的练习答案与 Python 会话,通过推理对比答完与截断两类答案的隐藏状态,削弱区分二者的方向,从而直接编辑权重。在预先固定的 490 道未见题目上,准确率从 57.2% 提升至 63.8%;2B 模型未能产生有效编辑,4B 与 9B 模型则出现自我损伤。