Simon Willison 博客T2·开发与工程
38 分
开发者工具 ttok 正式发布 1.0 版本,核心变更是将默认分词器从 GPT-4 更新为 GPT-5/GPT-6。尽管 OpenAI 尚未官方确认新模型的分词器一致性,但作者依据第三方实验数据(显示 GPT-5 与 GPT-6 在测试语料上 token 计数完全匹配)做出了这一决策,旨在提供更准确的现代 LLM 成本估算支持。
Token Counting
估算文本输入或输出所消耗的令牌数量,用于成本控制与上下文管理
开发者工具 ttok 正式发布 1.0 版本,核心变更是将默认分词器从 GPT-4 更新为 GPT-5/GPT-6。尽管 OpenAI 尚未官方确认新模型的分词器一致性,但作者依据第三方实验数据(显示 GPT-5 与 GPT-6 在测试语料上 token 计数完全匹配)做出了这一决策,旨在提供更准确的现代 LLM 成本估算支持。
Simon Willison 发布 llm-anthropic 插件 v0.30 版本,正式支持 Claude Sonnet 5.5。该更新引入 `refresh` 命令以动态获取 Anthropic 最新模型列表,并新增 `count` 命令利用官方 API 预计算 Prompt 的 Token 用量。