新智元 (微信公众号)T2·基座大模型
74 分
DoubleAI 提出「机制干预」范式,把编程 Agent 放进训练与推理现场,由 Agent 现场写 Python 代码插入模型主干接管计算,而非只调权重。实验显示预训练模型仅插入约 20 行代码即可在单次前向推理中执行梯度下降,叠加 10 层代码后 30 种经典算法准确率从 55% 升至 84%;另有 7630 亿参数模型读取内部激活、检测推理跑偏并回滚重算,在 AIME 与 HMMT 2026 上提升约 7 个百分点。
Mechanism Intervention
由编程 Agent 在训练或推理过程中向模型主干注入可执行代码、实时接管部分计算的范式,区别于仅调整权重。
DoubleAI 提出「机制干预」范式,把编程 Agent 放进训练与推理现场,由 Agent 现场写 Python 代码插入模型主干接管计算,而非只调权重。实验显示预训练模型仅插入约 20 行代码即可在单次前向推理中执行梯度下降,叠加 10 层代码后 30 种经典算法准确率从 55% 升至 84%;另有 7630 亿参数模型读取内部激活、检测推理跑偏并回滚重算,在 AIME 与 HMMT 2026 上提升约 7 个百分点。