Rohan Paul (@rohanpaul_ai) · 2026/10/19 17:04:00
普林斯顿与谷歌提出小模型接管智能体决策,成本降八成且成功率仅微跌
普林斯顿大学与谷歌联合研究指出,在智能体任务中,由经过特定状态训练的小型决策模型(如4B参数)接管常规工具选择步骤,可将运行成本降低81.1%至89.0%,速度提升2.5倍,同时保持任务成功率在3个百分点以内。该方案通过置信度阈值机制,仅在模型高确信时介入,否则回退至大语言模型,有效解决了长程任务中大模型调用频繁导致的低效问题。
报道全文原始报道全文
Rohan Paul (@rohanpaul_ai) · 2026-10-19 09
普林斯顿大学与 Google 的最新论文发现,在孤立问题测试中准确率最高的决策模型,仅能解决 69.5% 的 Agent 任务;而基于 Agent 状态训练的 4B 参数模型则解决了 91.5% 的任务。
Agent 框架(harness)在每一步都调用大型 LLM,导致长任务运行缓慢且成本高昂。然而,其中大多数调用仅仅是从列表中进行选择,例如决定下一步使用哪个工具。
他们的框架让一个快速决策模型回答每个多选题,并仅在置信度超过根据 Agent 自身运行数据拟合的阈值时采用其答案。此外,他们还在 Agent 实际到达的状态上训练了 AgentDecision-4B 模型,包括 Agent 犯错后的状态。
在与训练数据类似的任务上,以此方式训练的 4B 模型使 Agent 的成本降低了 81.1% 至 89.0%,速度提升至最高 2.5 倍。成功率保持在 3 个百分点以内,而如果完全将工具选择权交给小模型且不设置置信度阈值,成功率会下降 19.0 个百分点。
若要将常规的 Agent 决策交给小模型处理,请在你的 Agent 自身运行数据上训练该模型,并设定相应的置信度阈值。
– arxiv. org/abs/2610.21412
标题:"JevAgentHarness:基准测试、部署及训练与 LLM 共享控制权的决策模型"
