术语slug: tokenizer

分词器

Tokenizer

将原始文本转换为模型可理解的数字序列(Token IDs)的工具

收录情报动态

共 10 篇 · 第 1/1 页
Rohan Paul (@rohanpaul_ai)T2·基座大模型
72 分
斯坦福论文:不存在完全与分词器无关的评估指标

斯坦福一项新研究发现,没有任何指标能在所有意义上做到与分词器无关,被广泛当作中立标准的 bits-per-byte(BPB)也不例外。未训练模型在不同词表下 BPB 差异明显,且 BPB 与任务准确率的相关性仅在 +0.02 到 −0.30 之间。作者建议比较不同分词器时不要只看单一分数,应同时核对同一文本上的任务准确率。

IT之家 · 智能时代T2·基座大模型
68 分
研究揭示 AI 分词器税:非英语 Token 消耗最高差 17 倍

最新研究发现,AI 模型处理不同语言时 Token 消耗量差异巨大,最高可达 17 倍。这种“分词器税”导致低资源语言用户面临更高成本、更慢响应及受限上下文窗口,凸显了多语言公平性问题。专家建议通过改进下一代分词器设计和提升底层数据质量来缓解此不平等。

Simon Willison 博客T2·开发与工程
38 分
ttok 1.0 发布:默认切换至 GPT-5/6 分词器,基于实验数据确认兼容性

开发者工具 ttok 正式发布 1.0 版本,核心变更是将默认分词器从 GPT-4 更新为 GPT-5/GPT-6。尽管 OpenAI 尚未官方确认新模型的分词器一致性,但作者依据第三方实验数据(显示 GPT-5 与 GPT-6 在测试语料上 token 计数完全匹配)做出了这一决策,旨在提供更准确的现代 LLM 成本估算支持。

Simon Willison 博客T2·基座大模型
78 分
Anthropic 发布 Claude Haiku 5.5:定价对齐 GPT-6 Luna 但新分词器致隐性成本上升

Anthropic 正式推出新一代轻量级模型 Claude Haiku 5.5,其基础定价($0.10/$0.50)直接对标 OpenAI 的 GPT-6 Luna,旨在解决旧版 Haiku 4.5 价格过高且性能落后的问题。然而,新模型采用了更保守的分词器,导致相同文本的 Token 消耗量增加约 25%,从而在长上下文场景下引发隐性成本上涨。这一策略标志着小模型竞争从单纯的价格战转向对推理效率与计费机制的深度博弈。

Hugging Face BlogT1·开发与工程
68 分
Hugging Face 发布 tokenizers v1:聚焦大规模训练与推理性能优化

Hugging Face 正式推出 tokenizers v1,核心目标是解决在大规模数据集训练和高并发推理场景下,分词器成为数据供给瓶颈的问题。新版本通过深度性能优化,确保在模型计算速度提升和工作负载扩展时,分词过程不再拖慢整体 ML 流水线。此外,还预告了基于 GPU 的并行解码原型,旨在进一步加速大批量处理。

Hugging Face BlogT1·开发与工程
58 分
Transformers v5 重构分词器:解耦设计与词表

Hugging Face Transformers v5 对分词器架构进行了重大重构,将分词逻辑与训练好的词表分离,类似 PyTorch 中网络结构与权重的解耦。这一变化使分词器更模块化、清晰且可定制,同时保留了模型感知、上下文长度和聊天模板等关键功能层。