Claude 模型被证实大规模训练于蛋白质序列

原标题:Claude was trained on protein sequences at scale
78AI 研判分

一项针对冷门蛋白质的下一氨基酸预测测试发现,Claude Fable 5.2 与 Opus 5.5 能根据序列上下文准确预测下一个氨基酸,而打乱序列后即失效,表明其在大规模蛋白质序列上接受过训练。其他前沿模型均无此迹象,Fable 5.2 甚至超越所有开源蛋白质语言模型,Opus 5.5 与最大开源模型 ProtGPT3-10B 持平。该结果揭示了前沿大模型训练数据中未被披露的蛋白质序列成分。

报道正文

本文目录14 个章节

一项针对鲜有研究蛋白质的下一氨基酸测试发现,最新的 Claude 模型在大规模蛋白质序列上进行了训练。其他前沿模型则没有表现出这一迹象。

最新的 Claude 模型在大规模蛋白质序列上进行了训练。 给 Claude Fable 5.2 或 Claude Opus 5.5 一段鲜有研究的细菌蛋白质的开头,它们就能预测下一个氨基酸。把这段蛋白质打乱后,它们就做不到了。在我们测试过的所有模型中,没有其他模型能做到这一点。与蛋白质语言模型类似,它们在更大的蛋白质家族上表现更好,而且即使在完全没有相关论文的家族中也能做到。Fable 5.2 击败了我们运行过的所有开源蛋白质语言模型,而 Opus 5.5 则与其中规模最大的 ProtGPT3-10B 持平。

动机

前沿 LLM 在蛋白质任务上开始表现出色。Atharv Jayprakash 展示了 GPT-6 Astra 对 SOD1 变体的排序能力与 ESM-2 相当,而 PG-LLM 在许多蛋白质上也发现了同样的结果。这些模型是从 UniProt 等蛋白质序列数据库中学习的,还是从关于蛋白质的文字描述中学习的?

著名蛋白质无法区分这两者:GFP 出现在无数论文中,大多数前沿模型都能背出它。因此,我们测试了几乎无人撰写的蛋白质。

方法:对鲜有研究蛋白质进行下一氨基酸预测

我们给模型一段蛋白质的开头,并要求它给出接下来的氨基酸。然后,我们对同一蛋白质的打乱副本再次提出同样的要求。打乱保留了字母,但破坏了它们的顺序,因此准确率的差异衡量了模型对序列本身了解多少。

百分比是 Claude Opus 5.5 在全部 668 个蛋白质上的准确率。真实行及其答案来自测试集;打乱行仅为示意。

测试集包含来自 167 个功能未知的 Pfam 家族的 668 个细菌和古菌蛋白质。没有任何家族拥有已解析的结构或超过三篇论文,也没有任何蛋白质在 UniProt 中有近亲。每个蛋白质在五个位置被截断。在每个截断点,模型写出接下来的 10 个氨基酸,我们对第一个进行评分。思考功能处于最低设置。附录 E 有详细说明。

实心点:聊天提示。空心点:通过补全端点或预填充回复,对 FASTA 文本进行原始下一 token 续写,适用于允许此操作的模型。

Fable 5.2 在真实蛋白质上预测下一个氨基酸的准确率为 54%,在打乱序列上为 9%。这一差距几乎存在于每个蛋白质家族中,而不只是少数几个容易的家族。它在 Opus 4.7 中已经出现,在 Opus 5.5 中进一步扩大,在 Fable 5.2 中再次扩大。GPT、Gemini 以及七个开放权重模型(DeepSeek V4.1 Flash、Qwen 3.8、Kimi K3.1 Pro、GLM-5.3、MiniMax M3、gpt-oss-120b 和 Nemotron 3 Ultra)则始终接近零,即使只是让它们按训练方式直接续写原始 FASTA 文本也是如此。最新的 Claude 模型还能写出连续的正确残基片段,而其他模型很少能做到这一点(附录 B)。

与蛋白质语言模型的比较

蛋白质语言模型仅从序列中学习,因此是天然的参照标准。与 LLM 最接近的是那些从左到右读取蛋白质并预测下一个残基的模型:ProtGPT3(其 100 亿参数版本是最大的开放版本)和 ProGen3(其最大的公开版本有 30 亿参数)。在相同输入下,Fable 5.2 大幅领先于两者。Opus 5.5 与 ProtGPT3-10B 持平,低于 ProGen3-3B。

ESM 模型经过训练,能够同时看到残基两侧的上下文,因此从左向右续写对它们来说更难。附录 C 列出了全部八个模型。

证据表明这来自训练数据

如果模型是从序列中学到的,那么序列更多的家族应该更容易。为了在更大范围内检验这一点,我们新增了 90 个较小的家族,每个家族最少 20 个蛋白质,总计 257 个家族。

事实确实如此。Opus 5.5 的准确率随两个蛋白质语言模型 ProtGPT3-10B 和 ProGen3-3B 一同上升,而这两个模型仅用序列训练。Fable 5.2 上升最快,并在每个家族约 300 个蛋白质时趋于平稳。较早的 Claude 模型在较低水平上上升,而 GPT 和 Gemini 则始终接近零。

另外两种解释并不成立:

  • 论文。 在完全没有相关论文的 128 个家族中,两个模型的表现与在整个数据集上一样好。
  • 推理。 大多数回答完全不涉及思考:API 报告显示,Fable 5.2 有 9% 的回答使用了思考 token,Opus 5.5 为 36%。没有思考的回答同样准确。GPT-6 Astra 和 GPT-6.1 Sol 每个问题要思考数百个 token,GPT-6.2 Sol 和 Astra 的回答则与 Claude 一样简短,而这四个模型都始终接近零。

著名蛋白质与变异排序

知名蛋白质则是另一回事。许多模型在它们上面表现良好,有几个模型能逐字母背出数百个残基(附录 B),因为这些序列遍布论文和网络。在第一轮将知名蛋白质与冷门蛋白质并排测试时,Gemini 4 Carbon 在知名蛋白质上表现强劲,但在冷门蛋白质上几乎降到零。最新的 Claude 模型和 ProtGPT3-10B 保持了水准,而 Fable 5.2 在两者上都是最强的。

这也解释了 SOD1 和 PG-LLM 的结果。对一种知名蛋白质的变体进行排序,可以依赖关于它的已有文献:哪些残基是埋藏的,哪些替换会破坏螺旋,哪些突变会导致 ALS。在 PG-LLM 中,准确率不依赖于比对深度,并且随着更多思考而提高,这两者都是该路径的迹象。我们的测试将其排除在外。GPT-6 擅长第一类任务,在第二类任务上较弱;最新的 Claude 模型在两者上都擅长。

这意味着什么

最新的 Claude 模型了解几乎无人研究过的蛋白质家族。这需要大量序列数据,而不是少量示例:蛋白质序列是其训练数据中相当大的一部分。Opus 5.5 的行为像一个蛋白质语言模型,而 Fable 5.2 超越了我们能运行的最好的蛋白质语言模型。GPT 和 Gemini 没有表现出这一点。无论它们在训练中看到了什么蛋白质序列,都不足以学会这些家族。

DNA 则不同。Opus 5.5 能预测人类和小鼠的编码序列,但不能预测基因组的其余部分,而且几乎不能预测它所知道蛋白质背后的细菌基因(附录 A)。它学到的是蛋白质,不是基因组。

我们好奇这种知识还能支持什么。Fable 5.2 对我们运行过的任何开源蛋白质语言模型都能更好地预测鲜有研究的蛋白质,而蛋白质语言模型承载的不仅仅是下一个残基的统计信息:ESM-2 的内部表示包含足够多的结构信息,以至于在其上添加一个小型折叠模块就能预测 3D 结构(ESMFold),而且它们的概率可以对突变效应进行排序。Claude 能否以同样的方式折叠蛋白质,或对其变体进行排序?

代码与数据

所有代码、测试集、模型输出和图表都在 llm-bioseq-probe 中。

引用本文

文本
@misc{tu2026bioseq,
  author = {Tu, Xinming and Chen, Leo Tianlai},
  title  = {Claude was trained on protein sequences at scale},
  year   = {2026},
  month  = nov,
  url    = {https://xinmingtu.cn/blog/2026/claude-opus-5-5-protein-sequences/},
  note   = {Blog post}
}

附录

A. DNA

220 个核苷酸窗口,展示 200 个、预测 20 个,来自 hg38、mm39 以及测试蛋白背后的细菌基因,每个区域 500 个。非编码窗口不含重复序列,对照组则对每个窗口进行打乱,同时保留其二核苷酸计数。Opus 5.5 在 500 个人类编码窗口中,有 25 次将全部 20 个核苷酸完全预测正确;盲猜做到这一点的概率约为万亿分之一。Gemini 4 Carbon 在回答前会拦截大多数 DNA 提示,因此未予展示。

B. 更长的续写

全部 10 个残基正确。 每个问题要求预测接下来的 10 个残基。在 668 个研究较少的蛋白质上,Claude Fable 5.2 在 88 个真实切割位点上全部 10 个残基正确,Opus 5.5 为 12 个,而两者在任何打乱序列上均未做到。如果它们的残基是基于各自单残基准确率的独立猜测,那么偶然全对的次数应分别为 15.8 次和 0.57 次。

连续正确。 在打乱后的蛋白质上,Fable 5.2 和 Opus 5.5 均未连续正确超过 3 个残基。一旦进入正确轨道,它们会更有把握:在正确预测一个残基后,Opus 5.5 下一个残基正确的概率为 47%,连续正确四个后则为 68%。

背诵知名蛋白质。 在研究充分的蛋白质的 158 个位点上,每个模型被要求一次性预测接下来的 200 个残基。

GPT-6.1 Sol 从未达到 100 个残基,而 GPT-5.5 从未超过 2 个。

C. 蛋白质语言模型

模型读取方向输入真实打乱真实减打乱,百分点(95% CI)
ProGen3-3B从左到右切割位点之前的残基43.7%11.1%+32.5(29.3 至 35.7)
ProtGPT3-10B从左到右切割位点之前的残基38.4%10.7%+27.7(24.2 至 31.1)
ESM C 600M两侧切割位点之前的残基24.1%11.2%+13.0(10.7 至 15.2)
ProtGPT3-1.3B从左到右切割位点之前的残基22.3%10.7%+11.6(8.9 至 14.4)
ProtGPT2从左到右切割位点之前的残基19.0%8.8%+10.2(8.3 至 12.2)
ESM3-open 1.4B两侧切割位点之前的残基19.6%11.0%+8.5(6.4 至 10.7)
ESM-2 650M两侧切割位点之前的残基17.3%10.3%+7.0(5.2 至 8.9)
ESM-2 650M两侧切割位点两侧的残基45.7%11.1%+34.6(31.8 至 37.3)

ProtGPT3-10B 答对的题目比 Opus 5.5 更多(38.4% 对 34.9%),但在打乱顺序的蛋白质上答对的也更多(10.7% 对 7.5%),因为它更了解氨基酸组成;两者之间的差距——也就是每个模型对顺序的了解——结果相同。最后一行是填空而非续写:ESM-2 还能看到切口之后的残基,而 LLM 从来得不到这些信息。每个模型都先在一批众所周知的蛋白质上通过了合理性检查。从左侧续写泛素和血红蛋白 β 链时,ProGen3-3B 的残基正确率分别为 98% 和 87%,ProtGPT3-10B 为 100% 和 84%;在给出完整蛋白质并遮蔽一个残基的情况下,ESM-2 对泛素的正确率为 80%,ESM C 和 ESM3-open 为 100%。遮蔽是在 token id 上设置的,因为 ESM SDK 的“_”字符并不是 ESM C 的遮蔽 token。ProtGPT2 使用多残基 token,因此一个残基的概率是对以它开头的所有 token 求和;ProGen3 和 ProtGPT3 则每个残基使用一个 token。

D. 稳健性

  • 跨家族。 在 98% 的家族中,Fable 5.2 的差距为正;Opus 5.5 为 94%。
  • 家族规模。 在全部 257 个家族中,家族差距与其规模对数之间的 Spearman 相关系数:Opus 5.5 为 0.50,ProGen3-3B 为 0.48,ProtGPT3-10B 为 0.46,Fable 5.2 为 0.38,Fable 5.1 和 Opus 4.7 至 5 为 0.30 至 0.48(所有 p < 10-6);Opus 4.5 和 4.6 约为 0。
  • 论文。 在完全没有论文的 128 个家族中,Fable 5.2 的差距为 45.9 分,Opus 5.5 为 26.8 分,而全部 167 个家族中分别为 45.1 和 27.4。对于 Opus 5.5,该差距在这些家族中仍随家族规模上升(Spearman 0.28,p = 0.001),且跨家族来看与论文数量无关(Spearman 0.05)。
  • 提示格式。 要求 Opus 5.5 先复制序列再继续,在同样的 400 个问题上得到的差距与标准提示相同(12.0 对 12.0 分;该子集来自 10 个家族)。
  • 拒答。 非回答(Opus 5.5 为 0.1%)被排除;将其计为错误使其差距变化不到 1 分。GPT-4o、DeepSeek、Qwen、Kimi、GLM 和 gpt-oss 常常拒绝猜测;使用最佳猜测提示使其作答,结果相同。
  • 无指令。 仅发送序列时,GPT-5.5 和 Opus 5.5 几乎总是描述它而非继续它(各在 400 个问题的样本上),因此聊天模型需要指令。
  • Claude Fable 5。 Anthropic 的使用政策过滤器拦截了 Fable 5 的 44% 的问题,因此它被排除在主数据之外。在其回答的问题上,其差距为 13.9 分;将拦截的问题计为错误得到 11.6,仅保留在真实和打乱蛋白质上均作答的截断得到 14.6,接近 Fable 5.1 的 14.9。Fable 5.1 和 5.2 分别被拦截 2.5% 和 0%。
  • 重复运行。 再次询问 400 个相同问题,Fable 5.2 在真实蛋白质上得分 57.5%,在打乱蛋白质上得分 9.5%,而第一次分别为 57.5% 和 8.5%。
  • 第一轮。 一个较小规模的运行,涉及 25 个模型、37 个家族(一半知名、一半冷门),给出了相同的图景,并确定了主运行的设计。

E. 方法

选择蛋白质。 我们从所有名称中包含“未知功能结构域”(DUF)或“未知功能蛋白质”的 Pfam 家族出发,保留那些在 PDB 中没有结构、该家族登录号在 Europe PMC 中最多有 3 条命中,且至少拥有 300 个成员蛋白质的家族。我们按规模将它们分箱(300 至 1,000 个蛋白质、1,000 至 3,000 个、3,000 至 10,000 个、超过 10,000 个),并从每个箱中随机抽取 50 个家族;超过 10,000 个的家族只有 17 个符合条件,因此该集合共有 167 个家族。我们从每个家族中选取 4 个来自 UniProt 的蛋白质,这些蛋白质未经审核(TrEMBL)、来自细菌或古菌、长度为 120 至 800 个残基、仅使用 20 种标准氨基酸、非低复杂度(香农熵高于每残基 3.9 比特),并且在其 UniRef90 簇中单独存在,即没有其他 UniProt 蛋白质与它们有 90% 或更高的同一性。这样共得到 668 个蛋白质。

更小的家族。 对于家族规模测试,我们在三个更小的箱(20 至 60 个、60 至 150 个和 150 至 300 个蛋白质)中各额外抽取了 30 个家族,采用相同的标准,每个家族 4 个蛋白质,共计 360 个蛋白质。每个模型获得与主集合相同的提示和评分。

切割。 每个蛋白质在其 Pfam 结构域内随机抽取的 5 个位置处被切割(最长的结构域跨度,至少 40 个残基),距结构域任一端至少 10 个残基,且切割点之前至少有 30 个残基:共 3,340 个切割。切割点之前的所有内容为前缀;紧随其后的残基为答案。

提问。 模型收到以下消息,其中前缀以 60 字符为一行(以下是一个测试蛋白质的示例):

文本
Below is the beginning of a protein sequence in one-letter amino acid codes.
Predict how it continues. Reply with exactly the next 10 amino acids as
one-letter codes on one line, and nothing else.

>sequence
MRSGGQPLHPQPAHRFHYRTAARPRAAWILGCVLHLADAEEGARFWWQYAAGAGDDAAAY
CLYLHCLVLGDSYAAALWREQTSLDTPPHDFDDTSVPTVLRILSRLTPA

每个模型通过其各自的 API 运行,在可接受的情况下温度设为 0,关闭思考或设为最低设置(对于 Opus 5.5 和 Fable 模型,为低努力,此时模型仍会自行决定是否思考),不使用工具,每个问题一个样本。Claude Fable 模型通过 OpenRouter 运行,因为 Anthropic 的 API 仅向保留数据的工作区提供这些模型。拒绝猜测的模型(GPT-4o、DeepSeek、Qwen、Kimi、GLM、gpt-oss)还获得了一个附加版本,其中添加了“即使不确定也给出你最好的猜测。不要解释或拒绝。”;这些运行被单独标记。

思考。 当 API 为其报告思考 token 时,一条回复才被计为经过思考:Anthropic 的用量报告中为 thinking_tokens,OpenRouter 的为 reasoning_tokens。思考文本本身不会被保留;只有可见的回复会被评分。Fable 5.2 在 9% 的问题上进行了思考,Opus 5.5 为 36%,Fable 5.1 从未思考。在不思考的情况下,Fable 5.2 在真实蛋白质上的正确率为 54.7%,在打乱序列上为 8.8%(思考时为 48.2% 和 10.6%),Opus 5.5 则为 35.3% 和 6.9%(34.1% 和 8.6%)。

评分。 我们读取回复中最后陈述的序列:即单独成行或位于诸如“Answer:”之类标签之后的一串大写氨基酸字母,跳过单词、列表以及思考标签内的任何内容。如果它开头复述了前缀的末尾,则该复述会被丢弃。其首字母即为预测的下一个氨基酸。因长度限制而被截断的回复,仅当其以序列开头时才计入。未陈述任何序列的回复会被排除并计数(Opus 5.5 为 0.1%)。只有第一个残基会被评分;完整的 10 个残基用于精确续写和连续片段。所有模型以及真实和打乱的蛋白质均使用同一读取器。

打乱对照。 每个蛋白质的残基会被打乱一次,随机种子由其登录号固定,并在打乱后的序列上询问相同的 5 个切割位置。打乱保留了整个蛋白质的组成并破坏了顺序,因此一个只知道哪些氨基酸常见的模型在两者上得分相同。

统计。 对于每个家族,我们计算真实切割和打乱切割上正确首残基的比例,并取差值(以百分点计)。一个模型的结果是该差距在 167 个家族上的均值。区间为基于家族的 95% 自助法(10,000 次重采样),主要检验为基于家族的单侧符号翻转置换检验,家族规模趋势为家族差距与其规模对数之间的 Spearman 相关性。

原始续写。 对于允许的模型,相同的 prefix 会在没有任何指令的情况下发送,即文本“>sequence”后跟 FASTA 行,通过纯补全端点(Fireworks 上的开放权重模型)或作为模型自身回复的开头(Gemini 2.5 Pro)。模型写出的第一个字母按上述方式评分。

蛋白质语言模型。 它们获得相同的前缀,且没有提示词。ProGen3、ProtGPT3 和 ProtGPT2 从左到右读取该前缀,并给出下一个 token 的概率;ESM 系列模型则看到前缀、一个代替下一个残基的掩码,以及序列的结尾。在每种情况下,预测结果都是 20 种标准氨基酸中最可能的那一个。

API 总成本约为 730 美元,外加蛋白质语言模型几美元的 GPU 时间。

F. 过程中观察到的安全行为

Gemini 4 Carbon 直接拦截了约 75% 的 DNA 提示词。OpenAI 在第一轮将 23 个 GPT-6 请求、在主运行中将 17 个 GPT-6.1 Sol 请求判定为可能的生物滥用而予以拒绝,并拒绝了 GPT-6.2 Astra 主集问题中的 6.6%(GPT-6.2 Sol:0.6%)。Claude Sonnet 4.5 拒绝了 97% 以蛋白质序列开头作答的请求,而 Anthropic 的过滤器以网络内容为由拦截了 Claude Fable 5 的 44% 的问题。