返回热点榜
llm热度 12.7°

AI 聚合热点事件 · 2026/11/19

仅改 0.016% 权重即可消除模型推理死循环

1 篇收录报道1 家独立信源交叉印证持续跟踪至 2026/11/19 23:32:47
全景综述与最新动态
1 家信源交叉印证

作者用 WebGPU 构建了一个交互式演示,展示“权重空间编程”:无需梯度下降,仅修改 Qwen 小模型约 80 亿参数中 0.016%(13.1 万)的 ffn_down 输出权重,就显著缓解了模型反复自我验证、耗尽 token 预算的死循环问题。同一模型同一提示下,触及 32k token 上限的运行比例从 93.0% 降至 33.1%,MATH-500 准确率从 7.9% 升至 48.1%。该方法定位少数具体失败模式及其对应神经元,与模型汤(souping)的广谱合并形成对比,并被视为智能体“提议-测试-反馈”闭环的潜在应用方向。

最新动向/作者用 WebGPU 构建了一个交互式演示,展示“权重空间编程”:无需梯度下降,仅修改 Qwen 小模型约 80 亿参数中 0.016%(13.1 万)的 ffn_down 输出权重,就显著缓解了模型反复自我验证、耗尽 token 预算的死循环问题。同一模型同一提示下,触及 32k token 上限的运行比例从 93.0% 降至 33.1%,MATH-500 准确率从 7.9% 升至 48.1%。该方法定位少数具体失败模式及其对应神经元,与模型汤(souping)的广谱合并形成对比,并被视为智能体“提议-测试-反馈”闭环的潜在应用方向。

逐小时热度走势

2 个完整观测小时
连续完整观测不足 3 个小时,暂不绘制趋势曲线。

报道时间线

共 1 篇 · 最新优先
  1. Hacker News AIT2·74 分

    仅改 0.016% 权重即可消除模型推理死循环

    原标题:Show HN: Watch weight-space programming in action with WebGPU

    • 仅修改 0.016% 的 ffn_down 输出权重即可将死循环率从 93.0% 降至 33.1%
    • 同一编辑使 MATH-500 准确率从 7.9% 提升至 48.1%,全程无需梯度下降
    • 方法聚焦少数失败模式及其神经元,区别于广谱基准驱动的模型汤合并