NVIDIA 研究证实智能体频繁压缩上下文可大幅降本且精度几乎无损

NVIDIA 最新论文指出，AI 智能体通过定期将历史对话压缩为简短交接笔记并重启会话，可在保持精度的同时显著降低推理成本。实验显示，在长文档处理中结合文件搜索工具而非全量读取，多数基准测试下精度损失不超过 2 分，而长上下文窗口会导致每 Token 生成成本增加 3.6 至 7 倍。