混合推理智能体实现 Token 节省与加速

原标题:Hybrid Reasoning Agents: 35–55% fewer tokens and up to 2.6× faster inference
78AI 研判分

研究人员提出 Hybrid Reasoning Agents (HybridAgents),通过在潜在空间推理与文本交互间动态切换,显著降低计算开销。该架构利用轻量级 HybridLink 模块实现无缝模式转换,并配合连续工作记忆保持上下文无损,在保留工具调用能力的同时提升推理透明度。实验显示,该方法可减少 35-55% 的 Token 消耗,并将推理速度提升至原来的 2.6 倍。

报道正文

查看 PDFHTML(实验性)

摘要:我们如何构建一个能够超越人类语言进行思考,却仍通过人类语言在外部环境中行动的 Agent?现代 LLM Agent 仍然通过文本进行推理和交互,而潜在推理(latent reasoning)提供了一种高效的内部媒介,但缺乏原生的工具访问能力和推理透明度。我们通过混合推理 Agent(HybridAgents)桥接这两个方向,使其能够在统一的生成过程中动态地在潜在推理和基于文本的交互之间切换。在架构上,轻量级的 HybridLink 实现了文本模式与潜在模式之间的无缝转换,同时 Agent 的连续工作记忆在多轮对话中保留了无损的混合上下文。这些设计既保留了集成工具的 Agent 能力,又使潜在思维过程可直接检查。在此架构基础上,我们进一步开发了针对混合推理的专用后训练算法:HybridSFT 通过教骨干模型与 HybridLink 协调来稳定集成工具的混合生成,随后 HybridRL 通过学习何时在潜在空间思考、何时通过文本行动来扩展推理能力。我们在涵盖数学、科学、医学、搜索和 Agent 推理的 11 个基准测试上,对 3 种不同规模的 HybridAgent 进行了评估。与涵盖基于文本和潜在方法的前沿 LLM Agent 及 Agent 框架相比,HybridAgent 持续将性能提升 10.4%,同时实现 35.5%-54.7% 的 token 减少、1.8x-2.6x 更快的推理速度以及 2.7x-3.7x 的成本节省。代码和数据可在 此 https URL 获取。

评论:45 页,12 幅图 主题:计算与语言 (cs.CL); 人工智能 (cs.AI); 机器学习 (cs.LG) 引用格式:arXiv.18861 [cs.CL] (或对于此版本使用 arXiv.18861v1 [cs.CL]) https://doi.org/10.48550/arXiv.2610.18861

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Jiaru Zou [查看邮箱] [v1] 2026 年 10 月 13 日星期二 UTC 17:59 (8,500 KB)