工具slug: terminal-bench-2

Terminal-Bench 2

评估智能体在终端环境中执行真实命令行任务的基准测试

收录情报动态

共 1 篇 · 第 1/1 页
Rohan Paul (@rohanpaul_ai)T2·智能体与协同
74 分
亚马逊新研究:环境变更后陈旧智能体技能反而有害

亚马逊最新论文指出,智能体保存的技能(如文件路径、字段名、命令)在应用或 API 变更后会静默失效,反而拖累任务表现。在 Terminal-Bench 2 上,原本为 Opus 提升 4.7 个百分点的技能在环境变化后使通过率比无技能低 11.4 个百分点;其选择性校验与修复方案将 Haiku 税表字段准确率从 30.5% 提升至 97.5%。