CMU 与 JetBrains 研究：Token 消耗量无法衡量 AI 智能体产出
原标题：New Carnegie Mellon and JetBrains paper finds that token spend shows how much engineers use AI agent...
78AI 研判分
卡内基梅隆大学与 JetBrains 联合研究发现，工程师的 Token 消耗量与其代码提交量仅呈弱相关：同一工程师消耗翻倍，提交量仅增加约 10%。研究基于 404 名 JetBrains 工程师 5 周的编码智能体使用数据与提交记录，并辅以 412 人的企业调研。作者建议 Token 消耗只用于预算管理，评估智能体辅助工作应依据任务与结果证据。
报道正文
Rohan Paul (@rohanpaul_ai) · 2026-11-11 17
卡内基梅隆大学与 JetBrains 的新论文发现，token 消耗量反映的是工程师使用 AI agent 的程度，而非他们实际交付的成果。
如今，各公司会追踪工程师的 token 消耗量，用以制定预算并评判生产力，有些公司甚至会对消耗量最高的用户进行排名。但此前尚无研究对同一批工程师的 token 消耗与产出进行长期跟踪。
他们将 404 名 JetBrains 工程师为期 5 周的编码 agent token 使用情况与其提交记录进行了关联。他们还分析了一项覆盖 412 名员工的公司调查，其中技术人员表示，在近 10 次评估中有 9 次会将 agent 用于编码之外的工作。
对同一名工程师而言，token 消耗翻倍仅对应约 10% 的提交量增长。在提交量相近的周次中，第 90 百分位周次的 token 消耗量是第 10 百分位周次的 39 至 240 倍。
token 消耗量只应用于预算编制，而评判 agent 辅助的工作时，应依据有关任务与成果的证据。
