子词分词

将文本切分为介于字符和单词之间的片段（如 BPE），是目前主流 LLM 处理自然语言的标准预处理步骤。