术语slug: token-counting

令牌计数

Token Counting

估算文本输入或输出所消耗的令牌数量,用于成本控制与上下文管理

收录情报动态

共 2 篇 · 第 1/1 页
Simon Willison 博客T2·开发与工程
38 分
ttok 1.0 发布:默认切换至 GPT-5/6 分词器,基于实验数据确认兼容性

开发者工具 ttok 正式发布 1.0 版本,核心变更是将默认分词器从 GPT-4 更新为 GPT-5/GPT-6。尽管 OpenAI 尚未官方确认新模型的分词器一致性,但作者依据第三方实验数据(显示 GPT-5 与 GPT-6 在测试语料上 token 计数完全匹配)做出了这一决策,旨在提供更准确的现代 LLM 成本估算支持。