Hacker News AIT2·68 分
智能体框架缓存策略显著影响能耗与推理效率
原标题：Why harnesses matter for energy (and token) efficiency
- 智能体框架的缓存机制直接决定输入 Token 的计算比例，92% 与 97% 的缓存率对应约 2.7 倍的预填充工作量差异。
- Prompt 缓存未命中会导致请求能耗增加约一倍，在 GLM-5.3 等模型上甚至达到 2.5 倍。
- 超过 128k Token 的长会话中，若框架重新读取过半历史内容，单次请求的预填充成本等同于 600 次正常短对话。
- 绝大多数缓存失效源于框架违规修改了已发送给模型的上下文，导致从第一个差异点开始全量重算。