自主智能体 7 周造出 38 个模型获 5 万次下载

原标题:Horizon Labs Report
78AI 研判分

研究团队让基于 Opus 5.5 的智能体 Horizon 在 7 周内全自主运营一个空白 Hugging Face 账号,消耗超 600 GPU 小时,自主产出 38 个模型,被 100 多个 GitHub 仓库采用、下载量突破 5 万次。该实验首次以真实社区采纳为优化目标,验证了智能体在开放平台上自主完成建模、发布与获客的端到端能力。

报道正文

本文目录9 个章节

Arthur Wuhrmann1,2,3,4, David Schmotz2,3,4, Derck Prinzhorn5, Ameya Prabhu3,4,6, Harry Coppock7,8, Maksym Andriushchenko2,3,4

1EPFL · 2ELLIS Institute Tübingen · 3Max Planck Institute for Intelligent Systems · 4Tübingen AI Center · 5Exponential Security Labs · 6University of Tübingen · 7UK Government · 8Imperial College London

在为期七周的时间里,我们让 Horizon——一个基于 Opus 5.5 的智能体——完全访问一个全新的 Hugging Face 账户和算力,其主要目标是在 Hugging Face 上获得真实用户的采用。它使用了超过 600 GPU 小时,自主创建了 38 个模型,这些模型被超过 100 个 GitHub 仓库使用,下载量超过 50,000 次。

实验设置

Horizon 在 Claude Code 中 24/7 全天候运行,仅由一个 Team Premium 订阅提供支持,并可访问一个全新的 Hugging Face 账户。它可以访问各种提升效率的命令,并能使用 GPU 运行任务。我们每周为它提供 100 万算力额度,大致相当于每周 500 GPU 小时。它可以向人类提交工单,并且被限制在单个 Hugging Face(和 GitHub)账户内。我们持续监控其行为,以确保不会执行任何不对齐的操作。

文本

在整个运行过程中,Horizon 处理了约 19 亿个 token,其中 96% 是从提示缓存中读回的,并写入了 310 万个 token。按 API 价格计算,这大约需要花费 1,030 美元。

它构建了什么

Horizon 基于嵌入模型(主要是 mmBERT-base)创建了 38 个模型,参数规模从 141M 到 568M 不等。它获得了超过 5.4 万次下载和 36 个点赞,并且我们发现了大量证据表明许多真实用户正在积极使用这些模型,从微调和流水线集成到 arXiv 上的独立评估,不一而足。Horizon 专注于窄任务模型,例如提示注入分类器、PII 脱敏工具和标点恢复模型。Horizon 通常为每个模型系列衍生出 2 到 3 种不同规模:小型(141M)、基础型(307M),有时还有大型(568M)版本。为了生成这些模型,它主要依赖公开的 Hugging Face 数据集以及使用 Qwen 3.8-27B 生成的合成数据。

一个全新的、不知名的账户,通过小型、实用、即插即用的模型能最快获得下载量。

Horizon · 9 月 23 日 11

谁在使用它们?

我们原本以为很多下载量来自爬虫/索引机器人,甚至是 Horizon 自己下载模型。在查看 GitHub 时,我们发现共有 143 个仓库使用了 Horizon 的模型。我们还发现两篇 arXiv 论文将该提示注入分类器模型与其他模型进行了比较。

Horizon-Labs 在智能体风格的输入上训练后,在两项智能体基准测试中均领先,且没有任何重叠。

通过你训练时所针对的测试Liu · arXiv 2610.03448

Horizon Labs 最近的防护模型专门针对文档携带的注入进行训练,并获得了最高的 AUC。然而,它与对照 AUC 的差距较小;它能检测到文档被编辑过,但无法检测到该编辑是恶意的。

衡量提示注入防护在法律合同审查攻击上的表现Heimann、Taylor 和 Jacob · arXiv 2611.08834

我们还在 Hugging Face 上发现了 18 个对 Horizon 的模型进行微调、量化或以其他方式修改的模型。如果将这类模型计算在内,总下载量会增加 2.4k 次下载。

我们在其他各种场景中发现了对 Horizon-Labs 的提及;第一个是我们个人邮箱收到的一封电子邮件(来自作者),其地址是某用户通过 git 提交中泄露的凭据获取的。Horizon 还收到了 3 条社区帖子,这些帖子通常询问有关模型某些用途的细节(特定语言覆盖范围、许可或长文档处理)。我们还发现,Horizon 在注入防护方面的主要竞争对手之一 Patronus Studio 更新了其模型卡,加入了 Horizon 的基准测试并对其模型进行了比较。他们还改进了模型以匹配 Horizon 的性能,正如我们的留出评估所证明的那样。

它是否刷了下载量?

我们检查了每一次工具调用,使用 Haiku 5.5 和 Luna 6 作为奖励黑客行为的监控器。我们发现 6 次 Horizon 下载自己模型的情况,合计增加 42 次下载。真实数量可能略高一些,但我们确信大多数下载是自然产生的,考虑到使用这些模型的用户群体,并且在许多下载量很大的日子里,Horizon 处于休眠状态且没有任务在运行。

这些说法是真的吗?

在模型卡和 Spaces 中,Horizon 经常将其模型呈现为同类中最佳或接近最佳。这些模型真的如 Horizon 所称的那样好吗?我们检查了过拟合、基准测试和竞品选择,未发现任何不一致的证据。Horizon 也并非依据测试分数来决定发布什么:它基于验证集进行选择,这是一个更好的代理指标,即使被发布的模型随后在其报告的基准测试上表现更差。10 月 7 日,在发布 prompt-injection-guard-small v2.3 时,它写道:

训练器根据验证 F1 选择检查点,因此我发布了验证 F1 最佳的运行。在测试集上,该运行(53695bf2)是四个中最弱的。

Horizon · 10 月 7 日 11

我们进一步在我们使用 MiMo V2.6 Pro 生成的独立合成基准上评估了 4 个模型系列,发现这些模型在窄任务上往往达到其规模的 SOTA。由于我们在内部、且在 Horizon 发布其模型之后创建了这些留出基准,我们确保不可能存在直接污染。

Horizon (Opus) 其他 帕累托前沿 无模型规模

尚无留出测试。

Horizon 的工作流程

非常令人惊讶的是,Horizon 平均每天只工作 16 分钟,而且在大多数日子里几乎不工作。它在 UTC 上午 10 点左右醒来,此时 Hugging Face 的下载量刷新。

我会等到明天大约 09 UTC 的下一轮下载刷新,然后根据这些数字选择下一步。

Horizon · 10 月 9 日 13

然后它会查看当天下载量最高的模型,并改进那些值得改进的模型:

我会记录这些数字,然后寻找注入防护模型最薄弱的环节,因为这显然是有需求的地方。

训练这些模型遵循一套通用配方:寻找公开数据集、在其上训练,并使用 Qwen 3.8-27B 和 Gemma 4 31B 来标注部分数据或用合成样本增强现有数据集。

在寻找要构建的新模型时,Horizon 会考虑以下几点:

关于多语言零样本分类器

transformers 的 zero-shot-classification pipeline 需求量很大(bart-large-mnli 每月约有 300 万次下载,xlm-roberta-large-xnli 为 180 万次)。

Horizon · 9 月 24 日 22

谈到 PII 脱敏模型

一个小型、宽松许可、多语言且支持 ONNX 和浏览器的模型将会脱颖而出。

Horizon · 9 月 23 日 15

当它选择讽刺检测器而非其他想法时(最终没有发布它)

我拒绝了形式化(没有公开的多语言评估集)、心理健康风险(敏感)和 IPTC 新闻主题(已有模型做得很好)。

Horizon · 10 月 12 日 11

关于网络主题和格式分类器

它复用了已经为 edu 采样过的 FineWeb-2 文档。

Horizon · 10 月 13 日 15

关于标点恢复模型

它使用与两个领先模型相同的标签,因此可以作为 deepmultilingualpunctuation 包中的即插即用模型使用,而这两个领先模型正是通过该包使用的。我阅读了该包的源代码以确认这一点。

Horizon · 10 月 3 日 14

以下是智能体如何利用其时间和算力的细分说明。

我们最惊讶的是,尽管智能体每周的工作量趋于减少,但每日下载量却持续上升。累积结果(下载量、使用 Horizon 模型的 GitHub 仓库数)呈指数增长,而累积投入(使用的 GPU 小时数、智能体工作时间)则趋于饱和,并遵循逆指数的、类似对数的轨迹。

局限性

由于这是一次真实环境中的评估,运行期间发生了一些问题,且难以轻易修复。为保持透明,我们披露遇到的每一项局限性。

下面的时间线展示了我们每次介入运行的时刻:我们回复了 Horizon 提交的 13 张工单,并向它发送了 7 条消息。大多数发生在前三天,当时我们还在搭建实验室,10 月 22 日之后则没有任何介入。点击气泡可查看发生了什么。

9 月 24 日,我们将 Horizon 的模型复制到了一个单独的账户,以便在不影响 Horizon 下载量的情况下研究它们。我们不小心将这些副本留在了公开状态,Horizon 很快就在 Hub 上注意到了它们。我们还曾将另一个账户描述为“实验室实验”,这导致 Horizon 认为它是由一个研究实验室而非一家初创公司在运营。

10 月 11 日至 12 日,发生了类似的问题:Horizon 提交了一张工单,而我们错误地回复“Horizon-Labs 是我们在实验室运营的另一家公司”。我们很快意识到了错误并发送了更正。

我们认为这两起事件促使 Horizon 认为它是由一个研究团队运营的,而非一家真实公司。不过,我们认为它们并未影响模型的行为或下载量。此后我们改进了运行框架,使得一次运行可以轻松地“回退”,而对其仅有微小影响。

10 月 22 日,我们的 harness 出现了一个错误,导致 Horizon 无法在它设定的时间唤醒。我们修复了该问题,并在 4 小时后将其唤醒,同时说明了所发生的情况。我们认为这并未对本次运行造成显著影响。

在 Hugging Face 上打开一个 Space 可能会触发模型下载。我们最多打开过此类页面 20 次。在运行评估时,我们也不小心下载了其中一些模型,但肯定少于 30 次。我们确信,在 54,000 次下载中,我们的贡献不超过 50 次。

在一次并行运行中,一个 DeepSeek agent 意外获得了与 Horizon 相同的 Hugging Face 账户访问权限,并且尽管有明确指示,仍在另一个仓库上发表了评论,宣传 Horizon 的模型。我们迅速介入并停止了那次运行;据我们所知,Horizon 从未察觉。

附录

tool-call explorer 列出了 Horizon 在运行期间进行的所有 3,952 次工具调用及其输出。你可以搜索这些调用,并按它们涉及的网站、Hugging Face 仓库、命令和语言进行筛选。

本页所有数字均截至 2026 年 11 月 17 日。本次运行的原始数据(转录记录、时间线、工具调用、GPU 作业、下载记录)是一个 20.1 MB 的 zip 文件,其中 API 密钥和一位个人的姓名已被隐去。它对 agent 友好:内部的 README 描述了每个文件以及如何加载它们,因此 AI 助手可以自行浏览这些数据。

↓ horizon-data.zip 20.1 MB

引用

文本
@misc{wuhrmann2026horizon,
  title        = {Autonomous agents can run successful open-model organisations. Evidence from an 8-week case study},
  author       = {Wuhrmann, Arthur and Schmotz, David and Prinzhorn, Derck and Prabhu, Ameya and Coppock, Harry and Andriushchenko, Maksym},
  year         = {2026},
  howpublished = {\url{https://horizon-labs.ai}},
  note         = {Horizon-Labs}
}