Hugging Face BlogT1·68 分
VocabX 论文预览:SLM 词汇表特化可降推理成本 77%
原标题:How Specializing the Vocabulary of SLMs Can Cut Inference Cost by 77% in Real Applications
- 通用 SLM 继承的大词汇表在垂直领域会导致过度分词,增加计算开销
- VocabX 方法通过词汇表特化,在生产环境中实现了 77% 的推理成本降低
- 该研究为 Qwen、Gemma 等开源模型的轻量化部署提供了新的优化路径