AI2 发布 StateBench 评估长文档状态追踪能力

返回文章列表

StateBench：测试语言模型在长文档中追踪状态变化的能力

企业版文章 发布于 2026 年 11 月 3 日 点赞 3

 [Kyle Wiggers Ai2Comms 关注](https://huggingface.co/Ai2Comms)  [allenai](https://huggingface.co/allenai)      

📄 技术报告 | 🤗 数据 | 💻 代码

我们推出了 StateBench，这是一个用于评估 长上下文 状态追踪 能力的基准测试——即衡量语言模型在长文档中随着实体信息演变而保持跟踪其状态的能力。

状态追踪是许多任务的基础，从阅读代码（其中变量被赋值和重新赋值）到跟随故事发展（角色在空间中移动、物品易手）。例如，如果一部悬疑小说在谋杀案发生前写道“约翰把刀给了玛丽”，那么了解每个角色的状态已发生变化至关重要。然而，并非所有状态追踪问题都同等难度：有些只需找到最新的更新；更难的则需要追踪一连串的变化，其中遗漏任何一步都可能导致最终答案出错。例如，我们悬疑状态追踪的一个更难变体是：约翰将背包里的物品给了玛丽，而此前已知爱德华曾将一把刀放入约翰的背包中。

Transformer 架构在具有长依赖链的高难度状态追踪变体上存在理论局限，这促使了循环架构和混合架构（如 Gated DeltaNet）的发展，它们通过携带运行中的记忆来应对这些挑战。现有的状态追踪测试往往侧重于最困难的情况，但随着这些新设计变得越来越普遍，研究人员需要了解每种架构能够处理哪些类型的状态追踪。我们希望不仅理解不同架构在最难的状态追踪任务上的差异，还要理解它们在较简单、可能更常见的状态追踪类型上的表现差异。

为此，我们开发了 StateBench 基准测试，以捕捉不同复杂度的状态跟踪问题，并利用它来评估具有不同架构的语言模型之间的差异。我们发现，当直接在这些任务上进行训练时，循环（recurrent）和混合（hybrid）模型的泛化能力远强于 Transformer 模型；而包括 Gemini 3.8 Flash、Claude Opus 5.5 以及 GPT-6 Sol 和 Luna 在内的前沿模型，随着输入长度的增加，在更困难的状态跟踪形式上仍然会出现性能崩溃。

四个级别的状态跟踪

StateBench 包含四个难度级别，允许执行日益复杂的状态更新操作。对于程序员而言，这些状态跟踪的复杂度级别可以理解为支持不同类型的变量赋值操作：

• R-trivial 问题使用不可变赋值。变量的值永远不会改变，因此模型只需要恢复其初始设定值即可。在代码中，这类似于 let x = 4;；在日常生活中，这就好比出生日期——它是固定不变的。
• Aperiodic 问题允许按值重新赋值。模型需要找到最新的值，并可以忽略之前的值。在代码中，这表现为先执行 x = 4，随后又执行 x = 2；在日常生活中，这就好比恒温器，最新的设置决定了当前的温度。
• Soluble 问题增加了自引用更新。每次更新都基于当前值进行，因此模型必须将变化累积传递下去，而不仅仅是查找最新的赋值。在代码中，这类似于 x = x + 5；在日常生活中，这就好比游戏得分，每一分都会累加到总分中。
• General finite 问题增加了按引用赋值。一个变量可以获取另一个变量的当前值，从而在更新之间创建依赖关系。在代码中，这类似于 x = y 或交换两个变量的值。想象一下魔术师把球藏在五个杯子中的一个下面，然后反复交换它们的位置。要找到球，就必须跟踪这些交换如何改变球的位置。这说明了 $S_5$ 状态跟踪问题：追踪连续交换如何重新排列五个对象。它属于我们四个级别中最难的一类，并在先前关于状态跟踪局限性的研究中进行了讨论。

这些层级可以通过变量赋值直观理解，但它们也代表了基于 Krohn–Rhodes 理论的状态追踪中理论上合理的区分。Krohn–Rhodes 理论是代数学的一个分支，描述了状态追踪问题——可视为有限幺半群上的字问题——如何分解为原子原语。我们层次结构中的每个层级对应一类可由不同原语集合构建的状态追踪问题。

为了公平比较这四个层级，我们从一般的有限变量赋值序列出发，从中推导出三个更简单的版本，从而生成四个可比的 StateBench 问题——每个难度层级一个。所有四个问题使用相同数量的变量和不同的值，且赋值出现在序列中的相同位置；只有赋值的类型发生变化。

我们的发现

预训练模型

我们在 StateBench 的 r-trivial、aperiodic 和 general finite 层级上测试了一系列开源预训练模型，以观察其状态追踪能力在何处失效，以及不同架构是否会在理论预测的位置失败。根据标准理论假设，Transformer 能够稳健地处理 r-trivial 问题（并在一定程度上处理 soluble 和 aperiodic 问题），但预计会在 general 问题上失败。相比之下，具有更灵活记忆更新机制的 Gated DeltaNet 原则上可以处理全部四个层级。

我们首先从开源预训练模型入手，这些模型的训练数据和上下文长度均有完整记录。其中包括两个 70 亿参数的模型：Olmo 3（一种 Transformer）和 Olmo Hybrid（增加了 Gated DeltaNet 层），以及参数量分别为 2.75 亿和 27 亿的较小模型。所有这些模型均在相同数据上进行预训练；它们在训练期间均未见过超过 64,000 token 的上下文，而我们在测试时大多使用了远超该长度的输入。

在对各模型进行评分时，几乎所有模型在 r-trivial 问题上表现良好，随着输入增长在 aperiodic 问题上准确率下降，而在 general finite 问题上则保持随机猜测水平。问题格式在此处至关重要——2.75 亿参数的 hybrid 和 Gated DeltaNet 模型在 RULER 风格的 r-trivial 问题上得分接近上限，但在将相同问题表述为电子表格编辑时得分接近随机水平。这一差距正是 StateBench 以多种格式测试同一底层问题的原因之一。

前沿模型

随后，我们测试了四个前沿模型——Gemini 3.8 Flash、Claude Opus 5.5 以及 GPT-6 Sol 和 Luna——要求它们阅读每个变量赋值序列并生成每个变量的最终值。

这四个模型在 r-trivial（平凡）和非周期问题上表现良好。但在可解问题和一般有限问题上，随着输入变长，准确率急剧下降，在最长的通用有限问题上降至 13% 或更低。一个可能的因素是敏感性；在这些更高难度的层级中，更多的步骤会影响最终答案，导致模型遗漏某次更新而不致出错的空间更小。

直接在任务上训练的模型

接下来，我们研究了模型在较高难度层级上的困难是否反映了架构本身的局限性，还是仅仅因为预训练未能教会模型解决这些问题。有针对性的直接训练是一种更有利的设置，能够揭示状态跟踪问题在多大程度上源于底层架构和优化器，而非用于预训练模型的数据。

我们从零开始训练了几个 2.75 亿参数的模型来应对 StateBench：包括两个 Transformer 变体、两个混合架构变体，以及两个具有不同记忆更新约束的 Gated DeltaNet 变体。这些模型在长达 256 个赋值的序列上进行训练，并在长达 64,000 个赋值的序列上进行测试，后者是最大训练长度的 250 倍。

随着序列长度的增加，各架构开始显现出差异。Gated DeltaNet 和混合模型在 r-trivial、非周期性和可解问题上几乎完美地实现了泛化，即使在我们测试的最长序列（包含数万个赋值）中也是如此。Transformer 能够学习较简单的层级，但在处理较长序列时性能下降，且从未学会解决一般的有限问题。在最难的层级上，具有更灵活记忆更新机制的 Gated DeltaNet 变体泛化能力最强，其表现接近完美，直至达到训练期间所见最长序列长度约 10 倍的规模。

对于 Gated DeltaNet 和混合模型而言，这一差距指向的是训练方式而非架构本身；直接进行训练后，它们学会了处理预训练版本无法应对的状态追踪层级。Transformer 则不同——即使直接进行训练，它们也永远无法学会最难的层级。

开放性问题与发布内容

仍有一些问题尚未解决。我们的新证明表明，采用受限记忆更新机制（非负特征值）的 Gated DeltaNet 能够在论文设定的固定精度算术及舍入条件下，解决所有非周期性任务以及某些周期性任务，例如追踪重复输入出现的次数是偶数还是奇数。它在能力层级中的确切位置仍有待确定，包括它是否能解决所有可解任务，以及数值精度或结合注意力层如何影响其能力。StateBench 还假设变量数量是固定的，而现实任务通常会随时间引入新的实体。例如，在长对话中，随着对话展开可能会出现新的人物和对象，模型也必须开始追踪这些新元素。目前的框架尚未涵盖这种场景。

随着新型循环架构和混合架构不断涌现，厘清各类架构分别能处理哪些状态跟踪任务，有助于指导未来系统的开发与训练。我们希望 StateBench 能为研究人员提供更细粒度的手段，以定位模型失效之处，并针对尚存短板的能力构建相应的训练与评估数据。更根本地说，我们期望它成为研究人员的“北极星”，指引他们开发出相比当前模型具备更强健状态跟踪能力的新架构。