返回全部资讯
腾讯混元 (Tencent Hunyuan)T1·基座大模型

腾讯混元发布 CL-bench:揭示大模型上下文学习瓶颈,开源全新评测基准与数据集

作者:Shihan Dou and Pluto Zhou原标题:Learning from context is harder than we thought
78AI 研判分

腾讯混元团队推出 CL-bench,旨在评估大语言模型从新上下文中即时学习的能力。研究发现当前前沿模型在“测试者”角色上表现优异,但在模拟人类通过阅读文档或规则进行即时学习的场景中表现显著不足。该工作已开源代码、数据及论文,为提升 AI 的上下文适应性提供了新的量化标准。

报道正文

CL-bench 项目主页:www.clbench.com CL-bench 论文链接:下载 CL-bench 论文 CL-bench 代码仓库:Tencent-Hunyuan/CL-bench CL-bench 数据仓库:tencent/CL-bench ## 我们需要 AI 成为上下文学习者

过去几年,语言模型的能力已变得令人惊叹。前沿系统如今能够解决国际数学奥林匹克竞赛题目、应对复杂的编程挑战,并通过那些需要人类花费数年准备的专业考试。它们擅长应试,通过生成长链推理来赢得基准测试(benchmark)。然而,尽管这些成就令人印象深刻,但它们掩盖了一个简单的事实:“应试者”并不是大多数人对 AI 的真正需求。

看看我们自己的日常工作。开发者浏览从未见过的工具文档,随即开始调试;玩家拿起新游戏的规则书,边玩边学;科学家梳理复杂的实验日志,从新数据中推导新的定理。在所有这些案例中,人类并非仅仅依赖多年前习得的固定知识体系。我们正在实时地从眼前的上下文中学习。

image#100%#center !12 来自真实工作和生活中的三个示例。案例 1:根据 SkyNet 无人机 SDK 文档(约 7 万字),将自然语言的飞行请求转换为安全、合规的 SDK 伪代码;案例 2:通过阅读完整的游戏规则书(约 1.5 万字)来学习一款新游戏,并分析密室场景中的可能结果;以及 案例 3:分析 300 条原始实验日志,以推导底层关系并估算共振常数。

当前的语言模型并不以这种方式处理上下文。它们主要依赖参数化知识——即在大规模预训练过程中压缩进模型权重中的信息。在推理时,它们主要在回忆这种静态的内部记忆,而不是主动从当下提供的新信息中学习。**这导致

一种结构性错配。**我们优化模型使其擅长基于已有知识进行推理,但用户需要它们解决依赖杂乱、不断演变的上下文的任务。我们构建了依赖过去知识的模型,但我们真正需要的是能够即时从环境中吸收信息的上下文学习者。为了弥合这一差距,我们必须从根本上改变优化方向。image#100%#center !12 语言模型的范式转变。! ## 使用 CL-bench 衡量上下文学习能力为了评估当前模型距离真正的上下文学习者还有多远,我们构建了 CL-bench,这是一个测试语言模型(LM)能否从上下文中学习新知识并正确应用它的基准测试。CL-bench 包含 500 个复杂上下文、1,899 个任务和 31,607 条验证准则,均由经验丰富的领域专家精心打造。它测试了一个简单但要求苛刻的标准:解决每个任务都必须需要从上下文中学习模型预训练中尚未包含的内容。CL-bench 涵盖了四类广泛的现实世界上下文学习场景:image#100%#center !12 CL-bench 的上下文分类体系。! 1. 领域知识推理:上下文提供特定的领域知识(如虚构的法律体系、创新的金融工具或小众专业知识)。模型需要利用这些知识进行推理并解决具体问题。2. 规则系统应用:上下文提供一个新定义的形式系统(如新的游戏机制、数学形式化体系、编程语法或技术标准)。模型必须理解并应用这些规则来执行任务。3. 程序性任务执行:上下文提供复杂的流程系统(如工作流、产品手册和操作指南)。模型必须理解并应用这些程序性信息以完成任务。4. 经验发现与模拟:上下文在复杂系统中提供实验数据、观察记录或模拟环境。与前几类不同,这类

h 涉及演绎推理,而该类别聚焦于归纳推理,也是最具挑战性的部分。模型必须从数据中发现潜在的模式或规律,并将其应用于解决任务。image#100%#center !12 CL-bench 中的示例。解决这些任务要求语言模型(LM)从提供的上下文中学习。这四个案例涵盖:(1) 依据一部新颁布的、长达 2.3 万字的法规裁决现实纠纷;(2) 给定一种新的编程语言规范,实现一个具有固定终止条件的基于时间的控制程序;(3) 在一个未见过的编程框架中执行代码;以及 (4) 根据技术规格和长期环境政策情景,模拟关键科技金属的全球可持续供应。更多案例可在 huggingface: CL-bench 获取。! 综合来看,这些类别涵盖了在现实工作中自然出现的演绎式和归纳式上下文学习形式。有关 CL-bench 的更多细节,请参阅我们的论文 CL-bench。 ### CL-bench 的设计原则与特性 CL-bench 围绕一条简单但严格的设计原则构建:每个任务都必须要求从上下文中学习新知识。CL-bench 中的每个上下文都是完全自包含的。解决其任务所需的所有信息均在上下文本身中明确提供——无需外部检索,也不允许存在隐藏假设。image#100%#center !12 在 CL-bench 中,解决任务要求模型从相应的上下文中学习新知识。! 为确保性能真实反映上下文学习能力,而非记忆效应或数据泄露,CL-bench 采用了无污染设计:

  1. 虚构创作:专家创建完全虚构的内容,例如为虚构国家设计一套完整的法律体系(包括新颖的判例先例和法律原则),或创造一种具有独特语法和语义的新编程语言。 2. 现有内容修改:专家修改现实世界的内容以创建变体,例如篡改历史事件、更改科学和数学定义,或修改技术文档和标准。 3. 小众与新兴内容整合:专家纳入在预训练数据集中代表性不足的小众或近期新兴内容,例如前沿研究发现、新发布的产品手册或技术文档,以及来自专业领域的特定领域知识。 在未提供任何上下文的情况下,最先进模型 GPT-5.1 (High) 仅能解决 不到 1% 的任务。这鲜明地证明了数据是无污染的,因为模型几乎完全无法在不从上下文中学习的情况下解决这些任务。此外,CL-bench 的设计具有高复杂性和序列依赖性。51.1% 的任务需要顺序依赖关系,意味着后续任务的解决方案依赖于先前交互的结果。这种多轮对话设计显著增加了任务的难度。平均而言,领域专家花费约 20 小时 对每个上下文进行标注,以确保任务构建的质量和深度。CL-bench 中的每个任务都是完全可验证的。平均而言,每个上下文关联 63.2 个验证评分标准,每个任务包含 16.6 个评估准则。每个任务的正确性都从多个角度进行评估,确保全面考核。 ### 实证发现 我们在 CL-bench 上评估了十个最先进的语言模型(LMs),结果表明 上下文学习仍然是一个重大挑战,并揭示了一些相关见解。 image#100%#center !12 十款前沿大语言模型(LLM)在 CL-bench 上的任务解决率。所有 LM 均在推理模式下进行评估,结果报告为均值 ± 标准差

(%) 在三次运行中的表现。! 平均而言,模型仅能解决 17.2% 的任务。即使是表现最佳的模型 GPT-5.1 (High),成功率也仅为 23.7%。换句话说,尽管拥有解决每个任务所需的全部信息,前沿模型在绝大多数任务上仍然失败。这表明当前的 SOTA 模型在很大程度上未能实现上下文学习。image#100%#center !12 各模型的错误类型分布。! 此外,还显现出以下几个显著模式: - 忽略或误用上下文是主要的失败模式。 许多错误并非源于信息缺失,而是由于模型忽略了上下文中的关键细节,或对其应用不当。在许多情况下,即使上下文明确定义了新规则、概念或流程,模型仍会回归到预训练阶段的假设。 - 长上下文推理和指令遵循是必要的,但并不充分。 案例分析显示,那些难以跟踪长上下文中的依赖关系或无法精确遵循新约束的模型表现更差。然而,即使是那些能够良好处理长输入并可靠遵循指令的模型,仍然会在许多任务上失败。上下文学习所需的不仅仅是长上下文推理和指令遵循能力。 - 从实证数据中进行归纳推理比演绎应用更具挑战性。 演绎任务让模型应用上下文中明确给出的规则和流程,而实证发现与模拟任务则需要归纳推理——即从数据中推断规律和模式,或在虚拟环境中进行探索。模型在这些任务上的表现明显较差,观察类和模拟类案例的成功率通常低于 10%,且不同运行之间方差较大,这表明发现规律和模式远比应用规则困难。 image#100%#center!12 GPT-5.1 在所有子类别中,高推理努力度与低推理努力度设置下的性能对比。! - 更高的推理努力度通常能改善上下文学习。 增加推理努力度(reasoning effort)可以提升部分模型的性能

,从而实现对复杂上下文的更深入理解。例如,GPT-5.1 在管理和实验类任务上提升了约 6%。其他模型则表现出微弱甚至负面的效果,这表明仅靠推理能力是不够的——模型还必须能够正确吸收和组织上下文信息。image#100%#center!12 不同输入长度范围下的性能表现,随着上下文变化呈现出相似的趋势。! - 上下文学习难度与上下文长度相关,但短上下文也可能很复杂。 较长的上下文通常会增加所有模型的任务难度,证实了长上下文处理是一个关键瓶颈。然而,即使上下文较短,如果其中包含密集的信息、细微的规则和依赖关系或严格的约束条件,也会变得复杂,这意味着难度既来自上下文信息的长度,也来自其复杂性。更多发现可参阅我们的论文 CL-bench。综合来看,CL-bench 得出了一个不可避免的结论:当今的前沿语言模型(LMs)距离成为可靠的上下文学习者仍有很长的路要走。这有助于解释实际部署中常见的挫败感。即使采用了日益精进的上下文工程,模型往往仍会在微妙但后果严重的方式上失败。如果模型无法真正从上下文中学习,仅提供上下文是远远不够的。作为基础能力的上下文学习在很大程度上被忽视了。在其得到改进之前,LMs 将恰恰在最需要它们提供帮助的场景中保持脆弱:即混乱、动态的真实世界环境。## 未来如果上下文学习能力显著提升,人类在 AI 系统中的角色将会发生转变。人类将不再主要提供训练数据,而是专注于上下文工程,为每项任务设计并提供最丰富、最相关的上下文。人类的角色将从训练数据提供者转变为上下文提供者。但这里有一个问题。即便如此,上下文学习仍是短暂的:模型仅在窗口期内进行适应,一旦窗口清空便会遗忘。更深层的问题在于:我们如何让从上下文中获取的知识持久化?这种知识不仅限于事实——还包括技能、经

rience,以及有助于模型跨任务泛化的模式。image#100%#center !12 记忆是巩固语言模型通过上下文学习所获经验的关键。! 目前,重点已经明确。是时候让上下文学习成为现实了! ## 致谢 我要感谢 Pluto Zhou。上下文学习的概念源于他在 2024 年提出的构想。我还要向 Shunyu Yao 表示诚挚的谢意,感谢他的鼓励与宝贵反馈。他反复且富有洞察力的建议与修改极大地帮助我们完善了这项工作。此外,我要感谢 Shichun Liu 和 Junjie Shan 在博客撰写与呈现方面提供的帮助。最后,我深深感激我的导师 Tao Gui、Qi Zhang 和 Xuanjing Huang,感谢他们对我研究工作的坚定支持。 写于 2026 年 1 月,新年伊始。