术语slug: hidden-states

隐藏状态

Hidden States

模型各层内部激活表示,本文用其区分答完与截断答案的差异方向

收录情报动态

共 1 篇 · 第 1/1 页
Rohan Paul (@rohanpaul_ai)T2·基座大模型
78 分
斯坦福等机构发现 27B 开源模型可自主编辑权重自我提升

斯坦福等机构的新论文提出一种无需训练与梯度的自我改进方法:让 Qwen3.5-27B 在梯度屏蔽下访问自身权重、带评分的练习答案与 Python 会话,通过推理对比答完与截断两类答案的隐藏状态,削弱区分二者的方向,从而直接编辑权重。在预先固定的 490 道未见题目上,准确率从 57.2% 提升至 63.8%;2B 模型未能产生有效编辑,4B 与 9B 模型则出现自我损伤。