机器之心 (微信公众号)T2·68 分
EMNLP 2026 论文 SpecTr-GBV:统一多草稿与贪心块验证,基于最优传输加速推测解码
原标题:EMNLP 2026 | 大模型推理如何再快一步?SpecTr-GBV统一多草稿与块验证,加速推测解码
- 现有推测解码方法通常分别优化多草稿生成或块验证,导致两者优势无法叠加。
- SpecTr-GBV 利用最优传输理论,将多草稿与块验证统一建模,追求更长的期望接受长度。
- 该框架在保证输出分布与原始模型完全一致的前提下,有效减少了昂贵的大模型前向计算次数。