Rohan Paul (@rohanpaul_ai)T2·78 分
EAGLE-4 发布 投机解码提速至 961 tokens/s
原标题:Some of the most useful inference work right now is happening in the speculative decoding component.
- EAGLE-4 在 Qwen3.8-27B 上实现 961.6 tokens/s 的单请求推理速度
- 相比 DFlash 2 和 DSpark 分别有 1.28x 和 1.40x 的性能提升
- 核心改进在于自适应草稿结构和更廉价的草稿 LM Head