Meta 等提出 CLM：LLM 自主编辑上下文提升性能与效率

CLM 提出将上下文建模为可自主编辑的动态文件，使 LLM 内生具备上下文管理能力，摆脱对人工设计压缩、检索或外存机制的依赖。实验表明其在任务性能与计算效率上均优于传统方法。

CLM 支持改写历史、保留关键事实、删除冗余信息；用户可通过自然语言指令引导上下文策略；可迭代生成并复用上下文管理技能文档。

适合大模型系统架构师、LLM 应用工程师、AI 平台研发人员阅读。

Meta、麻省理工学院与华盛顿大学的研究人员提出上下文语言模型（Context Language Model，CLM），一种使语言模型能够自主管理和编辑自身上下文的新方法。该方法不再依赖预定义的摘要、压缩和信息检索机制，在性能和计算效率方面均取得显著提升。

研究人员实现了一种让 LLM 自主管理上下文的机制，将上下文视为一个可以无限制更新的文件。这种方法为传统的上下文管理策略提供了一种替代方案，传统策略（如压缩、外存卸载和检索）用于防止上下文无限增长，但各有局限。摘要可能会丢失关键细节或引入错误，压缩通常使用预定义的规则集，而外部存储则需要智能体决定哪些信息需要重新载入上下文。

与之不同，CLM 可以改写历史消息、保留重要事实、删除无关信息、维护进度记录，并习得属于自身的上下文管理策略。研究人员强调，大模型能够学习超出现有人工设计方案的策略，有可能突破“现有的人类先验认知”。

将上下文管理从外部辅助控制转为模型的内在行为， 天然支持用于上下文管理的上下文学习和参数学习。我们首先表明，用户只需要告知智能体期望的策略，就能引导上下文管理行为。此外，CLM 可以迭代生成一份上下文技能文档，捕捉可用的上下文管理流程供后续复用。

CLM 能够习得的新能力包括：创建内部笔记、删除无关中间结果并保留有用内容、记录失败实验与待探索思路等。

研究人员探索了三种不同的上下文管理方法。第一种是零样本上下文管理，即 CLM 不接收特定训练。第二种是上下文学习，即通过自然语言指导 CLM 如何管理上下文，并通过迭代技能优化循环来改进策略。第三种是强化学习，即以任务成功为主要目标、计算效率为额外优化标准来学习上下文管理策略。

研究人员使用多个基准测试对 CLM 进行了评估，结果显示性能与计算效率均大幅提升。零样本 CLM 取得了以下成绩：

在 BrowseComp-Plus 数据集上，准确率提升 11.4%，浮点运算量减少了 21.5%；在 12 小时的 EdgeBench 任务上，得分提升 5%，浮点运算量减少 59%；在 24 小时多仓库智能体集群任务上，同等算力下性能提升幅度高出 65%。

采用上下文学习的 CLM 在 ContextBench 任务上最高提升 35.9 个百分点的准确率，同时算力消耗更低。强化学习方案将 Qwen3.5-9B 在 BrowseComp-Plus 上的准确率从 28.8% 提升至 42.5%，相对提升 47.6%，浮点运算量还减少了 12%。

研究人员也指出若干尚未解决的难题。首先，CLM 有可能丢弃后续无法找回的重要信息。其次，允许 CLM 编辑自身上下文会带来新的安全风险：可编辑上下文“会成为另一类通道，让提示词注入或模型自生成指令在多轮对话中持续留存”。最重要的是，更强的上下文控制权并不等价于更好的模型表现，模型仍可能在保留、修改或丢弃信息上做出错误判断。

在 X.com 上对该公告的评论中，@Rennix7t 警告说“论文中的准确性和算力结果来自特定任务”，而 @omarsar0 认为该方向很有研究价值，但对端到端信任模型自主管理上下文持保留态度，认为仍需更完善的解决方案。

在 Reddit 上，Combinatorilliance 认为 CLM 尚未达到生产就绪状态，他指出，重写上下文会使模型缓存失效，并且“研究人员所用的缓存技巧本身并不完美，存在一些需要考量的缺陷”。

查看英文原文：https://www.infoq.com/news/2026/10/context-language-models/