Rohan Paul (@rohanpaul_ai)T2·基座大模型
72 分
斯坦福一项新研究发现,没有任何指标能在所有意义上做到与分词器无关,被广泛当作中立标准的 bits-per-byte(BPB)也不例外。未训练模型在不同词表下 BPB 差异明显,且 BPB 与任务准确率的相关性仅在 +0.02 到 −0.30 之间。作者建议比较不同分词器时不要只看单一分数,应同时核对同一文本上的任务准确率。
Vocabulary
模型预定义的所有可能输入标记的集合
斯坦福一项新研究发现,没有任何指标能在所有意义上做到与分词器无关,被广泛当作中立标准的 bits-per-byte(BPB)也不例外。未训练模型在不同词表下 BPB 差异明显,且 BPB 与任务准确率的相关性仅在 +0.02 到 −0.30 之间。作者建议比较不同分词器时不要只看单一分数,应同时核对同一文本上的任务准确率。
Hugging Face Transformers v5 对分词器架构进行了重大重构,将分词逻辑与训练好的词表分离,类似 PyTorch 中网络结构与权重的解耦。这一变化使分词器更模块化、清晰且可定制,同时保留了模型感知、上下文长度和聊天模板等关键功能层。