Open Athena 指出后训练数据缺乏公共基础设施

我们极其幸运地获得了预训练数据。训练大型语言模型需要真正庞大的文本语料库，而这些数据就“躺”在那里等着被使用。

这并非完全出于偶然。在过去大约 50 年里，人类一直在忙碌地创建和数字化海量的公共知识记录。最显而易见的是，维基百科的编辑们构建了人类有史以来最全面的百科全书。蓬勃发展的开源运动产生了数 PB 的软件源代码。Stack Exchange 社区花费了十多年时间提出问题、争论答案并精心整理结果。科学家们将论文上传至 ArXiv。古腾堡计划（Project Gutenberg）——几乎与互联网本身一样古老——制作了版权过期书籍的数字版本。

当然，数十亿人建立了网站、发表评论、进行了从琐碎到深刻的争论、上传了照片和绘画、创作了小说，而且——信不信由你——有时还在互联网上撒谎。

像古腾堡计划、Internet Archive、维基百科、ArXiv 和 Stack Exchange 这样的努力，是有意识地构建数字知识共享库（knowledge commons）的尝试。此外还有 Common Crawl。自 2007 年以来，Common Crawl 定期归档互联网相当大一部分子集的快照，并将其免费提供给任何人访问和使用。如今，Common Crawl 已归档了约 10 PB 的数据。

这一庞大的人类知识共享库构成了 LLM 革命的基础。GPT-3 的训练数据中约有 60% 源自 Common Crawl。原始的 Llama 数据混合几乎完全提取自互联网共享库。1

这并不是说将网络的原始材料提炼成适用于 LLM 的数据块是一件简单的事。网页是极其混乱的存在，网络的大部分内容是旨在欺骗 Google 爬虫的垃圾信息或低质内容。人们仍在撰写关于如何进行过滤、HTML 转文本提取、旧文档 OCR 以及合成重写的论文。

尽管现有的大型玩家似乎已转向使用其自研的网络爬虫（Cloudflare 报告称，超过一半的爬虫流量来自 AI），但像 Nemotron 和 我们自己的模型 这样的现代开源 LLM，其绝大部分预训练数据仍然依赖于这一公共数据资源。若无法持续访问这一公共资源，真正开放的 LLM 将无法存在。

如今，前沿 AI 研究的重心已转向后训练（posttraining），尤其是所谓的“智能体”（agentic）AI。与之前的预训练一样，后训练也需要海量的算力和数据。然而，目前并没有现成的原始数据宝库可供后训练使用。简而言之，不存在后训练数据公共资源。

根本区别很简单：预训练消耗的是文档，而后训练消耗的是任务。2 但这里的“任务”本身已经是一种抽象概念。用于后训练的强化学习（RL）所采用的任务，并非人类在现实世界中执行的那些任务。

人类的任务总是 situated（情境化）于特定的时刻。某人想要达成某个目标；他们在世界中采取行动以实现它；世界做出回应；随着他们获取新知，目标也会发生变化；最终，他们要么成功，要么失败，要么改变目标。一旦尝试过，该任务便随之消逝。同样的条件永远不会完全重现。

从这个意义上说，人类的任务呼应了口头文化：一个口述故事既是一个事件，也是一个对象。故事的讲述方式会随着讲述者、听众和场合的不同而改变。将故事写下来使其变得持久且可重复，但也冻结了某一次特定的讲述。

将人类活动编码为 RL 任务也产生了类似的效果。RL 任务是固定的、图式化的且清晰可读的，而现实世界中的任务则是自适应的、有条件的且转瞬即逝的。一段 situated action（情境化行动）的经历被转化成了一个可以反复执行的对象。

对于一个 RL 任务，我们必须至少保留三个组成部分：世界、意图以及一组用于与世界交互的工具。对于强化学习而言，我们还需要一个评分器（grader），它负责审视智能体行动的结果，并判断意图在多大程度上得到了满足。

人类花了数千年时间，围绕以文档形式存储的持久知识构建制度：书籍、图书馆、档案库、互联网。而在让“行动”变得持久方面，我们拥有的时间要短得多，发展出的基础设施也少得多。

除了一个极其重要的例外：软件。软件工程在很大程度上就是“将任务记录下来”的实践。软件工程师们花了几十年时间，将工作转化为持久的工件（artifacts）：保存工作发生的世界环境，记录其背后的意图，并留下所采取行动的痕迹。难怪代理式 AI（Agentic AI）首先瞄准了软件领域。

计算机是围绕确定性构建的。重启一台计算机，它的状态基本上就是一张白纸，除了你选择写下来的任何信息——也就是任何文档。（妈，这就是我为什么一直劝你重启电脑。）这种确定性非常适合强化学习。当智能体可以尝试一项任务，丢弃所做的更改，并从完全相同的起点重试时，强化学习算法的效果最好。

在过去几十年里，软件经历了一系列变革，以加倍利用计算机的确定性。版本控制保留了程序的历史。持续集成和形式化的单元测试库记录了执行这些程序的流程。虚拟机和容器封装了程序运行所需的受控世界快照。这一切都不完美。软件也是流动的：系统时钟会变动，版本会更新，包会消失。比特会腐烂。Debian 自 2013 年起就系统地致力于可复现构建（reproducible builds），但十多年过去了，他们仍未将该发行版描述为完全可复现。

尽管存在这些局限，开源软件已经创造了一个由保留的世界和记录的行动组成的公地（commons）。但要将软件公地转化为机器学习可以消费的任务并不容易。而且这种困难在性质上与清理网络文本不同：缺失的信息可能从未被记录过。因此，将软件仓库转化为后训练数据（posttraining data），看起来更像是一种制造过程，而非策展过程。

要构建一个任务，我们需要世界环境、工具、意图和一个评分器（grader）。理论上，开源软件公地为我们提供了所有这些要素：

• World（环境）指的是某一时间点的软件仓库、其依赖项以及容器和构建机制。
• Tools（工具）仅仅是软件工程和使用计算机的工具：Shell、编译器、浏览器等。
• Intent（意图）我们可以从 GitHub Issues 或 Pull Requests 中恢复。
• Grader（评分器）即测试是否通过。

事实证明，这基本上就是原始 SWE-bench 所使用的框架。结果发现，它既出人意料地困难，又过于简单。他们爬取了 12 个 Python 仓库的 GitHub Issues 和 Pull Requests，得到了超过 90,000 个 PR。其中，只有约八分之一能够直接映射到该框架：它们要么未被合并，要么未关联 Issue，要么未修改测试用例。它们缺乏清晰的 Intent 或 Grader 映射。

在剩余的 11,407 个任务中，约 80% 无法转化为可执行的任务。例如，包在该状态下无法重建，或者存在奇怪的运行时错误。这些任务的 Worlds 无法重建，或其 Graders 无法失败判定。最终留下了构成原始 SWE-bench 的 2,294 个任务。

一年后，OpenAI 着手创建 SWE-bench Verified。OpenAI 雇佣了 93 名经验丰富的 Python 开发人员，手动审查了随机选取的 1,699 个 SWE-bench 任务。其中，超过三分之二因提示词描述不清、测试不公平或其他重大问题而被标记为移除。经过筛选，他们生成了一个包含 500 个“Verified”任务的池子。随后，对其中一个有问题子集进行的审计发现，尽管此前进行了 extensive 的检查，但在整体的 500 个任务中，仍有约六分之一的任务存在问题。

我无意针对 SWE-bench 进行批评。它是目前构建质量较好的公开编程数据集之一。在审查 TaskTrove 的任务汇编时，我们发现，在一个包含 5,000 个转换后的 Java 任务的子集中，超过 90% 的任务在修复过程中不得不被丢弃：测试无法解析、未检查任何内容，或依赖于缺失的项目上下文和外部服务。在另一个 Python 子集中，近 98% 的受检验证器包甚至无法启动测试，因为缺少依赖项。而这仅仅是可执行性问题的开始。Vals 的一项审计发现，小米 MiMo v2.6 公开发布版本中的 2,698 个编程环境里，仍有三分之二包含可从 Git 中恢复的参考修复方案。在一个演示案例中，智能体直接复制了修复代码并通过了所有五个隐藏测试。制作高质量的任务确实很难。

而且，软件开发还是相对容易的情况！如果连软件领域都如此难以做到完美——我甚至还没提到构建那些智能体无法突破的沙箱，以及那些没有预定义单元测试作为评分依据的任务——那么经济领域的其他部分该有多难？前沿 AI 公司如何能可靠地将所谓“具有经济价值的人类活动”的其他部分——即律师、科学家、销售人员、医生等从事的工作——编码为强化学习（RL）所需的正式、可重复的任务形式？

对于经济领域的其他部分，甚至连一个公开的“任务公共库”的雏形都不存在。那么，前沿实验室该怎么办？他们必须聘请这些律师、科学家、销售人员和医生，将其工作适配到 RL 任务框架中，将人类世界中转瞬即逝的任务转化为智能体所消费的形式。他们需要创建任务、环境、评分标准、验证器、模拟器等。而所有这些工作本身也需要协调和验证。因此，这就构成了 rapidly expanding posttraining data industry（快速扩张的后训练数据行业）存在的根本理由（raison d’être）。

那么，作为开放模型社区，我们该怎么做？我们没有用于后训练的 Common Crawl，因为根本不存在可供爬取的公共语料库。相反，后训练公共语料库必须始于大规模、系统性的“铭刻”（inscription）——即发现人类任务并将其转化为强化学习（RL）任务。（或者，如果我们能找到一个更好的范式，那当然更好。）

这绝非易事。预训练公共语料库中的很大一部分，原本就是以大致合适的形式被生产出来的。人们发布网页、源代码、论文和书籍，其动机与训练语言模型毫无关系。然而，产生这些成果的人类活动本身——包括目标设定、决策过程、修订、协商以及试错——大多已经消失。

幸运的是，我们并非从零开始。开源公共语料库是一座宝库，其中包含大量部分已“铭刻”的任务。经济领域的其他部分、其他形式的人类活动也会留下痕迹：带有修订记录的文档、日志、操作流程等。而且，智能体（agents）正日益具备协助我们从输出和痕迹中重建任务，并将其“铭刻”为 RL 任务的能力。

从某种角度来看，这一切可以简化为：“我们需要尽快创建大量的 RL 环境。”在表层意义上，这确实是事实。但更深层的任务——也就是真正的人类任务——在于决定我们要将哪些人类活动“铭刻”成一种持久且可被强化学习识别的形式，并建立相应的机制和制度来系统地实现这一目标。GDPval 的构建方法为此指明了一条路径。

此时此刻，经济领域中可识别任务的自动化似乎已成定局，哪怕仅仅是因为涌入其中的资本体量巨大。问题在于，由此产生的人类工作“铭刻”成果，最终会成为少数公司持有的私有资产，还是我们会付出努力，使其中相当有意义的一部分成为所有人都能在此基础上构建的公共语料库。

随着 AI 能够执行越来越多的人类工作，开发并引导这种能力将成为巨大的经济权力来源。如果只有少数几家公司能够积累训练前沿模型所需的任务和环境的资源，那么这些公司将拥有不成比例的话语权，决定 AI 能从事何种工作，以及谁能从中受益。

一个后训练数据公共池，将让大学、非营利组织、独立研究人员和企业能够开发出大型 AI 公司可能永远不会优先考虑的能力。这个公共池将赋予我们所有人有意义地参与塑造 AI 开发与部署方式的能力，并在治理 AI 的政策和规范中拥有更强的话语权。否则，我们冒着将几代人以来最具影响力的技术的巨大权力拱手让给少数几家极其富有的公司的商业利益的风险。

在预训练方面，我们运气不错。构建维基百科和 Stack Exchange 的人并不是在制作训练数据；他们是在创造自己希望存在的东西。但没有人会为了好玩而把税务律师的工作成果录入到一个可复现的环境中。如果要建立一个后训练数据公共池，就必须有人刻意去构建它，清楚地知道它的用途以及可能的成本。

这更难。但这也意味着，难得的是，这个公共池是我们可以选择的。

1. Books3 除外，嗯，↩
2. 最初的后训练数据主要消耗所谓的偏好数据，但与现代的 agentic RL 相比，其规模微不足道。↩

引用本文

@misc{hall2026_there_is_no_posttraining_data_commons,
  author = {Hall, David},
  title = {There is no posttraining data commons},
  year = {2026},
  month = {oct},
  howpublished = {\url{https://www.openathena.ai/blog/there-is-no-posttraining-data-commons/}},
  note = {Open Athena Blog}
}