OpenAI 发布 MedChemBench 评测 AI 药物化学推理
OpenAI 推出 MedChemBench,一个面向药物化学研究的基准,用于评测 AI 模型能否将分子结构与实验证据关联起来,完成结果解释、化合物比较与性质预测。该基准旨在定位模型在真实药物发现任务中的能力边界与短板,为后续模型迭代提供可量化参照。
报道正文
本文目录6 个章节
2026年11月20日
AI 能帮助科学家识别有前景的药物候选分子吗?
推出 MedChemBench,这是一个基准测试,用于评估 AI 模型读取分子结构、解读实验结果以及选择下一步测试哪些化合物的能力。

00
分享
我们推出 MedChemBench,这是一个基准测试,用于评估 AI 模型在源自药物化学研究的推理任务上的表现。它检验模型能否将分子结构与实验证据联系起来,以解释结果、比较化合物并预测其性质。构建能够可靠支持这项工作的 AI,是帮助科学家开发更好药物的一步。
这项工作最困难的部分之一在于,改善分子的某一性质可能会使另一性质变差。一个化合物可能对某种疾病相关蛋白有强效作用,但吸收性差或在体内分解过快。药物化学家通过设计、合成和测试相关化合物,然后决定下一步尝试什么,来权衡这些取舍。要让 AI 提供帮助,它需要将分子结构的变化与实验证据联系起来,并推理哪些化合物值得继续研究。
MedChemBench 通过 99 道取自已发表研究的问题来衡量这些能力。在 xhigh 推理设置下,GPT‑6.2 Astra 获得了可用分数的 84.5%,相比之下 GPT‑6 Astra 为 83.3%,GPT‑6.1 Sol 为 82.0%,GPT‑5.6 Sol 为 58.2%。GPT‑6 Astra 在重建分子结构和解释实验证据方面表现最强。对该模型而言,选择化合物并预测其数值性质则更为困难。
MedChemBench 的评分内容
MedChemBench 取材于 117 篇论文和专利,包含 761 个不同的分子结构。对于大多数问题,模型会获得研究项目在某一选定时间点可用的背景信息:生物靶点、研究者的目标、迄今研究过的化合物,以及选定的实验发现。
该基准测试评估四个组成部分:
- 分子结构。 根据所提供的绘图和化学基团组装而成的分子中,正确的原子连接方式和指定的立体化学。
- 科学推理。 由所提供证据支持的说明,例如选择一种化合物而非另一种化合物的理由。
- 排序与选择。 符合既定要求的化合物排序和选择。
- 性质预测。 与源材料中报告的数值和类别一致,包括测量和计算的分子性质。
跨竞争性性质的预测
MedChemBench 中的一道题目取材于对 PRMT5 抑制剂的研究,PRMT5 是一种在癌症药物发现中被研究的蛋白质。模型会收到分子结构和早期实验的结果。它必须预测三种相关化合物将如何表现:它们在细胞中阻断 PRMT5 的强度、它们穿过细胞屏障的难易程度,以及肝酶在实验室检测中分解它们的速度。
未提供给模型的后续实验显示了一种权衡。化合物 23 在较低浓度下即可在细胞中阻断 PRMT5,而化合物 24 更容易穿过细胞屏障,并且在肝酶检测中分解得更慢。
同时预测这些性质,可以检验模型能否将分子结构与化合物行为的多个方面联系起来。这反映了药物化学中的一个核心挑战:对靶点更强的活性并不一定伴随更好的通透性或更慢的分解。
该基准检验模型是否正确重建了分子结构,以及其预测与实验测量值的接近程度。预测会根据其与测量值的接近程度获得部分分数。提示中已提供的测量值也必须被正确复现。

00
微小的化学变化可能产生不同的性质特征。该任务要求模型将结构与有关其行为的证据联系起来。
测试药物化学中的空间推理
在模型能够推理化合物的性质之前,它需要正确识别分子。化学绘图编码了原子连接、环结构和立体化学。
MedChemBench 测试模型在根据所提供的结构图和化学基团重建分子时,能否保留这些信息。
其中一道题要求模型用一个中心结构和两个相连基团组装出一个分子,同时保留一个 18 原子环。在所有十一个模型共有的最高推理设置(xhigh)下,GPT‑6 Astra 在全部十次回答中都正确重建了该化合物。GPT‑5.6 Sol 和 GPT‑5.6 Luna 则在全部十次回答中均失败。
在展示的答案中,GPT‑5.6 Sol 生成的是一个 15 原子环,而 GPT‑5.6 Luna 则把分子拆成了两个互不相连的片段。
这些错误改变了所分析分子的身份。这个例子检验的是药物化学推理的一项基础能力:模型能否在解读化合物行为之前,先准确地表示该化合物。
图 1. 相同输入,不同分子

这些针对化合物 17 的选定答案分别展示了正确重建、更小的环以及互不相连的片段。
在测量基准的结构组件时,Astra 在 xhigh 下获得了可用分数的 95.4%。这一结果表明,在重建任务所提供的分子结构方面表现强劲。
我们在不同推理强度设置下评估了十一个 GPT 模型。在整个基准上,Astra 在共有的 xhigh 设置下获得了可用分数的 83.3%,相比之下 GPT‑6.1 Sol 为 82.0%,GPT‑6.1 Terra 为 75.1%,GPT‑5.6 Sol 为 58.2%。在最高强度下,GPT‑6 Astra 达到 83.8%。更高的推理设置提升了分数,但模型之间仍存在较大差异。下图绘制了性能与输出 token 的关系。
图 2. 性能与 token 使用量
每个点代表一个模型在一种推理设置下的表现,展示了从 GPT‑5.6 起的九个模型共 51 种组合。分数为 99 道题的平均值;误差条表示 95% 不确定性区间。Token 包括推理过程和最终答案。
组件结果区分了四种能力:重建分子、解释发现、选择化合物以及预测测量值。这显示了模型最强的地方以及错误仍然存在的地方。
图 3. 组件性能与 token 使用量
Astra 最明显的优势在于重建分子结构和解释科学证据。在我们预印本中选取的推理示例里,Astra 正确识别了结构变化,并权衡了这些变化对蛋白质结合、吸收和代谢可能产生的影响。
在筛选和预测仍然困难的方面,Astra 在 xhigh 下获得了可用结构得分的 95.4%,但在选择化合物和预测数值属性方面仅获得约一半的得分。这些类别使用不同的任务和评分规则,但结果表明,在改进预测和化合物选择方面仍有很大提升空间。
我们接下来的方向
这些结果并不能确定模型是否能够发现新药或改善实验室决策。无法排除模型此前接触过已发表来源的可能性,而且每次回答都是单次尝试,没有使用工具、反馈或新实验。虽然该基准评估的是基于历史证据的推理,而非现实世界中的药物发现,但其结果有助于识别模型正在取得进展的领域以及仍然存在挑战的领域。我们相信 MedChemBench 将支持持续进步,并期待随着我们的模型不断发展以服务该领域而分享最新进展。
作者
OpenAI