斯坦福一项新研究发现,没有任何指标能在所有意义上做到与分词器无关,被广泛当作中立标准的 bits-per-byte(BPB)也不例外。未训练模型在不同词表下 BPB 差异明显,且 BPB 与任务准确率的相关性仅在 +0.02 到 −0.30 之间。作者建议比较不同分词器时不要只看单一分数,应同时核对同一文本上的任务准确率。
分词器
Tokenizer
将原始文本转换为模型可理解的数字序列(Token IDs)的工具
收录情报动态
最新研究发现,AI 模型处理不同语言时 Token 消耗量差异巨大,最高可达 17 倍。这种“分词器税”导致低资源语言用户面临更高成本、更慢响应及受限上下文窗口,凸显了多语言公平性问题。专家建议通过改进下一代分词器设计和提升底层数据质量来缓解此不平等。
开发者工具 ttok 正式发布 1.0 版本,核心变更是将默认分词器从 GPT-4 更新为 GPT-5/GPT-6。尽管 OpenAI 尚未官方确认新模型的分词器一致性,但作者依据第三方实验数据(显示 GPT-5 与 GPT-6 在测试语料上 token 计数完全匹配)做出了这一决策,旨在提供更准确的现代 LLM 成本估算支持。
Anthropic 正式推出新一代轻量级模型 Claude Haiku 5.5,其基础定价($0.10/$0.50)直接对标 OpenAI 的 GPT-6 Luna,旨在解决旧版 Haiku 4.5 价格过高且性能落后的问题。然而,新模型采用了更保守的分词器,导致相同文本的 Token 消耗量增加约 25%,从而在长上下文场景下引发隐性成本上涨。这一策略标志着小模型竞争从单纯的价格战转向对推理效率与计费机制的深度博弈。
Anthropic 推出新一代小模型 Claude Haiku 5.5,针对高吞吐任务将平均成本降低 75%,短提示词场景下输入价格降幅高达 90%。同时,公司大幅下调旗舰级 Sonnet 5.5 的 API 定价,并更新 SDK 以支持计算机与浏览器操作功能。
Hugging Face 正式推出 tokenizers v1,核心目标是解决在大规模数据集训练和高并发推理场景下,分词器成为数据供给瓶颈的问题。新版本通过深度性能优化,确保在模型计算速度提升和工作负载扩展时,分词过程不再拖慢整体 ML 流水线。此外,还预告了基于 GPU 的并行解码原型,旨在进一步加速大批量处理。
Hugging Face Transformers v5 对分词器架构进行了重大重构,将分词逻辑与训练好的词表分离,类似 PyTorch 中网络结构与权重的解耦。这一变化使分词器更模块化、清晰且可定制,同时保留了模型感知、上下文长度和聊天模板等关键功能层。
Intel 与 Hugging Face 联合提出“通用辅助生成”(UAG)技术,允许使用任意小模型作为助手来加速大模型的解码过程,无需严格匹配分词器。该方法通过优化草稿 token 的验证机制,显著提升了推理吞吐量,并计划集成至 Transformers 库以简化部署。
Hugging Face 发布教程,指导开发者从零构建类似 GitHub Copilot 的代码生成模型 CodeParrot。内容涵盖从 BigQuery 获取 Python 数据集、自定义分词器及 GPT-2 架构训练全流程。该资源主要服务于学习 Transformer 原理与数据工程实践。
Hugging Face 发布教程,演示如何使用 Transformers 和 Tokenizers 库从零开始训练一个小型语言模型(EsperBERTo)。该模型拥有 84M 参数,针对低资源语言 Esperanto 进行预训练并微调词性标注任务。