Rohan Paul (@rohanpaul_ai)T2·78 分
清华 TokenRouter 突破 LLM 路由瓶颈：实现每令牌大小模型动态切换，吞吐量最高提升 64.15 倍
原标题：New Tsinghua paper builds TokenRouter, a serving system that runs per-token small-and-large model ro...
- TokenRouter 实现了令牌级别的动态模型路由，打破了传统单请求单模型的局限。
- 通过解耦模型服务器并共享 KV Cache，有效避免了快模型等待慢模型的同步开销。
- 实验数据显示，在多种路由策略下，系统吞吐量相比现有最强配置提升了最高 64.15 倍。