新智元 (微信公众号)T2·74 分
DoubleAI 提出机制干预:让 Agent 在训练中改写网络架构
原标题:AI亲手改写Transformer架构!DeepSeek自我改造暴涨7分
- Agent 在训练/推理中途注入 Python 代码接管计算,突破只调权重的边界
- 单次前向推理内实现梯度下降,10 层代码叠加使 30 种算法准确率 55%→84%
- 模型读取自身深层激活检测推理跑偏并回滚,数学竞赛基准提升约 7 分
AI 聚合热点事件 · 2026/11/8
DoubleAI 提出「机制干预」范式,把编程 Agent 放进训练与推理现场,由 Agent 现场写 Python 代码插入模型主干接管计算,而非只调权重。实验显示预训练模型仅插入约 20 行代码即可在单次前向推理中执行梯度下降,叠加 10 层代码后 30 种经典算法准确率从 55% 升至 84%;另有 7630 亿参数模型读取内部激活、检测推理跑偏并回滚重算,在 AIME 与 HMMT 2026 上提升约 7 个百分点。
原标题:AI亲手改写Transformer架构!DeepSeek自我改造暴涨7分