机器之心 (微信公众号)T2·68 分
港科大与华为提出 BalanceRoute，优化大模型推理负载均衡提升吞吐
原标题：卡加了，吞吐为何没跟上？大模型推理中的等待，有了新解法
- MoE 模型数据并行部署中，最忙计算组的延迟会阻塞其他组，导致整体吞吐随规模扩大而边际递减。
- BalanceRoute 通过建模同步等待指标 I(k)，将请求分配转化为基于短期负载预测的在线路由优化问题。
- 在 96 卡实测环境中，相比最强基线，该方法实现了约 15% 的解码吞吐提升，并已投入实际服务系统。
返回热点榜
compute热度 9.3°
AI 聚合热点事件 · 2026/10/16
港科大与华为提出 BalanceRoute，优化大模型推理负载均衡提升吞吐
1 篇收录报道1 家独立信源交叉印证持续跟踪至 2026/10/16 11:23:00
全景综述与最新动态
1 家信源交叉印证针对 MoE 模型在数据并行部署中因同步等待导致的吞吐瓶颈，港科大周子杰团队与华为联合提出 BalanceRoute 方案。该方案通过数学建模刻画负载不均衡，并将短期预测转化为在线路由决策，在 96 卡实验中使解码吞吐提升约 15%。目前该技术已被 NeurIPS 2026 接收并部署于 MathBot-Pie 系统。
最新动向/针对 MoE 模型在数据并行部署中因同步等待导致的吞吐瓶颈，港科大周子杰团队与华为联合提出 BalanceRoute 方案。该方案通过数学建模刻画负载不均衡，并将短期预测转化为在线路由决策，在 96 卡实验中使解码吞吐提升约 15%。目前该技术已被 NeurIPS 2026 接收并部署于 MathBot-Pie 系统。
热度曲线逐小时热度走势
3 个完整观测小时当前
9.3
峰值
9.820:00
近 24h 变化
–
曲线只比较全程持续完整观测的同一批信源；缺口小时数据已插值平滑，保持趋势连续。