新智元 (微信公众号)T2·基座大模型
74 分
DoubleAI 提出「机制干预」范式,把编程 Agent 放进训练与推理现场,由 Agent 现场写 Python 代码插入模型主干接管计算,而非只调权重。实验显示预训练模型仅插入约 20 行代码即可在单次前向推理中执行梯度下降,叠加 10 层代码后 30 种经典算法准确率从 55% 升至 84%;另有 7630 亿参数模型读取内部激活、检测推理跑偏并回滚重算,在 AIME 与 HMMT 2026 上提升约 7 个百分点。
Internal Activation Probing
读取模型中间层激活状态以判断当前推理是否偏离正确方向,并据此触发回滚或重算。
DoubleAI 提出「机制干预」范式,把编程 Agent 放进训练与推理现场,由 Agent 现场写 Python 代码插入模型主干接管计算,而非只调权重。实验显示预训练模型仅插入约 20 行代码即可在单次前向推理中执行梯度下降,叠加 10 层代码后 30 种经典算法准确率从 55% 升至 84%;另有 7630 亿参数模型读取内部激活、检测推理跑偏并回滚重算,在 AIME 与 HMMT 2026 上提升约 7 个百分点。