机器之心 (微信公众号)T2·78 分
清华发布八卦炉 2:运行时自适应化解万卡集群显存尖峰
原标题:SC26 顶会论文:八卦炉 2—— 让万卡集群学会临场应变
- 采用运行时自适应机制,在门控计算后、专家执行前实时决策保存、重计算或卸载策略。
- 无需预定义静态配置,能自动应对MoE架构中由负载不均引发的瞬时显存尖峰。
- 在12,288张海光DCU上实测,平均MFU提升至32.9%,总吞吐达2.012 EFLOPS。
AI 聚合热点事件 · 2026/10/28
清华大学团队在SC26发表“八卦炉2”系统,通过运行时自适应机制动态调整重计算与卸载策略,解决MoE大模型训练中的显存尖峰问题。该系统无需修改静态配置,在万卡集群实测中平均吞吐提升1.14倍,最高MFU达35%,有效避免因OOM导致的任务中断。
曲线只比较全程持续完整观测的同一批信源;缺口小时数据已插值平滑,保持趋势连续。
原标题:SC26 顶会论文:八卦炉 2—— 让万卡集群学会临场应变