全球首个湿实验闭环基准 AISLE 发布

打通AI for Science「最后一公里」

编辑｜Youli

前段时间，Anthropic 展示了一项 AI for Science 研究成果：Claude 在 64 小时内生成了 31.8 万个蛋白质设计方案，经过筛选，211 个被送入湿实验室测试，最终有 17 个达到预设的蛋白结合标准，展示了 AI 科学设计走向真实实验验证的巨大潜力。但 Anthropic 也指出，从结合命中到真正可用的抗毒疗法，仍面临复杂的活性验证与成药性考验等一系列考验。

这道出了当前 AI for Science 最尖锐的一个现实：在虚拟世界里推演方案，与在真实物理世界里把实验做出来，完全是两回事。

那么，模型提出的方案与真实的物理实验之间的鸿沟究竟有多深？过去谁也说不清，因为行业缺少一套能够反复执行、横向比较的物理验证基准。代码有单元测试，数学有标准答案，真实实验却受到设备差异、执行误差和成本的制约，不同实验室的结果也难以直接比较。

最近，由律动造物联合多家全球顶级科研机构共同推出的 AI Scientists' Last Exam（AI 科学家的终极大考，AISLE），试图为 AI 的真实实验能力建立一把新的「尺子」。作为全球首个面向干湿实验闭环科学发现的公开基准，AISLE 希望让不同模型走进真实实验室，在统一标准下接受物理世界的检验。

• 项目地址：https://aisle.science/
• Github repo: https://github.com/MasterAI-EAM/ai-scientists-last-exam
• 论文链接：https://github.com/MasterAI-EAM/ai-scientists-last-exam/blob/main/paper/AI_Scientists_Last_Exam.pdf

而结果是，在首轮累计执行的 4079 次真实湿实验测试中，参测的 GPT、Claude、Gemini 等顶尖模型交出了一份充满警示意味的成绩单：在完成湿实验榜单评测的模型中，综合排名第一的 GPT 5.5 在满分 100 分情况下仅得 41.19 分；而在带有安全约束下的实验优化任务中，所有参测模型的完整通过率全部为 0%，GPT 6 Astra 得分甚至有所降低。

这一结果彻底打破了大模型在榜单上的「做题家光环」。

在计算机里，模型把「1+1」计算一亿次，答案依然是 2，但在真实的湿实验室里，让一台自动化移液设备重复执行一亿次操作，结果绝不可能完全相同。设备会损耗，精度会漂移，测量数据带有噪声，实验环境也可能随时发生变化……

更值得警惕的是，科学能力的增强，并不意味着安全能力同步提升。当模型直接调用实验设备，一次违反安全约束的决策，就可能从数字世界中的错误变成现实中的设备损坏、人员伤害甚至环境污染。甚至，如果模型无法识别多轮交互中逐步显露的危险意图，其科学推演能力还可能被被恶意利用。

这也是 AISLE 的另一层意义，当全球科技巨头都在竞相描摹「AI 科学家」的技术愿景时，这场物理大考却揭开了一个残酷的现实：AI Scientist 的能力边界，不能只看它能否提出正确假设、完成实验目标，还要看它能否在整个实验过程中遵守安全边界。

值得注意的是，这项具有行业里程碑意义的工作背后汇聚了自动化实验室、计算化学和 AI for Science 领域的一批前沿研究力量。项目由律动造物创始人谢童博士发起，新南威尔士大学（UNSW）、新加坡国立大学（NUS）、瑞士洛桑联邦理工学院（EPFL）和加州大学伯克利分校（UC Berkeley）共同牵头，参与者包括伯克利材料科学家 Gerbrand Ceder、化学 Agent 先驱 EPFL 的 Philippe Schwaller、化学具身与自驱动实验室（SDL）领域的开拓者 Acceleration Consortium 团队等全球 13 个前沿的 AI4Science 实验室，以及来自 NVIDIA、Microsoft Research, 礼来 Lilly 等机构的研究人员。

其中，Gerbrand Ceder 团队曾主导建设自主材料实验室 A-Lab，并与 Google DeepMind 的 GNoME 材料发现成果形成合作。2023 年，相关研究发表于《Nature》，展示了 AI 材料预测与机器人自动化合成结合的潜力。

AI for Science 的「最后一公里」：从理论、计算走向实验

从科学发现的方法论来看，一个完整的科研周期通常由三个阶段构成：理论推演、数值计算与模拟，以及最终的物理实验执行。

近年来，OpenAI、Anthropic 等 AI 大厂的模型展现出愈发惊人的泛化能力，在数学推理、科学问题求解方面不断取得新突破，AI 也已经进入蛋白质结构预测、分子设计和材料发现等科研流程。

但科学发现的终极闭环，最终仍需要落到真实实验中，模型提出的假设能否得到真实观测的支持，计算中的最优方案能否在物理世界中成立，唯有实验才能给出最终判定。

可问题在于，物理实验的反馈远比数字任务复杂。一次实验不仅需要设备、试剂和时间，结果还可能受到测量噪声、执行误差和设备状态的影响。即使实验失败，也很难立即判断问题究竟出在方案、操作还是设备本身。

这让自动化实验室成为 AI for Science 的重要发展方向，希望将机器人、实验设备和 AI Agent 连接起来，让模型不再只是分析已有数据，还能够主动设计实验、执行操作、读取结果，再决定下一步做什么。

比如今年 10 月，Google Research 介绍了 VERID 框架，通过实验室的语义数字孪生跟踪机械臂、试剂体积和耗材状态，让 AI Agent 在执行真实操作前进行虚拟预演，并通过安全检查降低操作风险。

然而，让 AI 能够操作实验设备只解决了问题的一部分，而 AISLE 进一步关注：如何衡量模型在整个实验过程中的表现，并将实验结果转化为可以持续使用的反馈信号。

长期以来，真实实验反馈很难像代码测试结果一样被高效、规模化地用于模型评测与训练。如何把稀疏、延迟且带有噪声的物理反馈转化为可靠的评价依据，成为 AI for Science 必须解决的问题。

AISLE 希望补上这一环：让真实实验不仅成为 AI 的最终考场，把答案放在物理世界里，模型可以背下论文、刷遍题库，却无法提前背下下一次真实实验的结果。设备会漂移，材料会变化，新的实验条件不断出现 —— 这不是一张等待被刷穿的考卷，而是一个持续出题的考场，也成为其持续学习的反馈来源。

AISLE：AI 科学家的「最后一考」，Nature as the Verifier?

AISLE 的核心思路，是建立一套贯通模型推理、计算模拟与真实实验的分布式物理 verifier。它以自动化实验室为执行载体，形成「提出方案 — 执行实验 — 获取观测 — 调整决策」的干湿闭环，将物理世界的反馈转化为可用于模型评测与持续改进的信号。

但与以往依托单一实验室的探索不同，AISLE 通过统一的任务、动作与观测协议，将各个前沿大模型与不同地点、不同设备的自动化实验室连接起来，团队花了九个月时间才完全跑通。

其中，统一 harness 让不同站点的结果能在同一标准下比较，站点之间的设备差异则被保留下来，用于检验模型在不同条件下的鲁棒性。

图 a——科学评测的四级阶梯：HLE、GPQA 只看静态作答，OpenAI 11 月 6 日发布的 BioBasicsBench 考的是读懂湿实验原始数据（第三级「实验知识」），AISLE 位于顶端，让模型在真实设备上亲自做实验。图 b——AISLE 的干湿闭环框架：模型提出假设，干实验室（模拟与数字孪生）筛选候选，分布式自动化湿实验站点执行，表征结果反馈回模型；完整交互轨迹按优化、安全、自适应鲁棒性、多模态四个维度评分。

因此，AISLE 既是一套比较模型实验能力的共同考题，也能像代码领域的单元测试一样，为模型改进提供可重复的真实反馈。

AISLE 首轮评测聚焦大模型在真实湿实验中的干湿闭环能力，模型在干端提出方案，湿端执行并反馈真实观测。

为了测试模型的干湿实验闭环中的基础决策能力，团队设计了光学目标逆向设计、pH 敏感的配方优化、高分子化合物不可逆操作规划、基于不同 pH 条件下光谱测量的主动 pKa 推断、光谱 - 图像多模态推理等基础任务，兼顾成本、反馈速度和可重复性，同时保留真实操作误差与测量噪声。

此外，团队介绍，目前也正在接入 Buchwald–Hartwig 偶联反应，CdS-MPA 量子点合成等复杂科研前沿任务。

更值得注意的是，AISLE 将「数字孪生」引入这套闭环中。

律动造物告诉机器之心，每个实验站点都有对应的数字孪生环境。模型可以先在数字环境中大量推演、试错，再将筛选出的方案送到真实实验设备上执行；真实实验得到的观测结果，又会反过来校准数字孪生，使仿真逐渐逼近设备的实际行为。

这相当于建立了两层互相配合的反馈机制：数字孪生提供低成本、高密度的试错机会；真实实验则提供最终的物理验证依据。

如此一来，模型不必每次探索都消耗真实试剂和设备资源，又能够不断利用真实观测修正模拟环境。

GPT 5.5 也只有 41 分，「第一把尺子」量出了什么

之前，行业内谁也无法确凿断言大模型到底能不能代替人类做实验，缺少一套能够系统衡量 AI 真实实验能力的标准，代码有单元测试，数学有标准答案，但湿实验长期处于规则真空。

如今，AISLE 充当了这把「尺子」，可量出的结果不仅令人清醒，更揭示出物理世界与数字世界之间的断崖差距……

AISLE 首轮评测涵盖 2 个自动化实验站点、4079 次真实实验、46626 分钟运行时长、涉及 GPT、Claude、Gemini 等模型，从「探索效率、实验安全、自适应鲁棒性和多模态推理」四个维度评测模型表现，分别考察模型能否在有限预算内逼近目标、遵守安全约束、应对设备变化，以及从光谱和图像等观测数据中推断科学参数。

分布在全球的 AISLE v0.1 合作实验站点，从自动移液到手套箱合成，覆盖湿实验的核心操作环节

结果显示，在完成湿实验全部维度的评测的模型中，得分最高的是 GPT 5.5，可也只有 41.19 分（满分 100）。更值得关注的是，按照团队采用的安全完整通过标准，参测模型均未能实现全部安全要求，都为 0%。

而这一成绩单首先证明了这把「尺子」是极其精准的：它能够迅速剥离大模型在纯语言层面的跑分泡沫，在真实的物理坐标系中将各个模型的动手能力清晰分层。其次，它证明了大模型与真实物理实验之间的实际鸿沟，远比学术界和工业界预想的要深得多，这一点，可以从实验中暴露出的问题来看。终点达标，可能掩盖过程中的违规；一次成功，可能掩盖设备失准后的连续错误。AISLE 记录的不只是终点对错，而是完整的决策链路：什么时候越界、发现异常后如何应对、什么时候应该停下来校准。这些只有真实执行才能产生的信号，无法仅靠数字环境中的测试获得。

首先是存在明知故犯的「安全盲区」。在一组安全测试中，研究团队人为设置了禁止进入的区域，并提前将约束告知模型。例如，在颜色匹配任务中，某些 RGB 数值区间被标记为不安全区域，模型必须在寻找最优实验路径时主动避开。但事实是，实验中参测模型几乎毫无例外地为了接近目标而触碰禁区。

这说明，模型能理解安全规则，并不意味着它能在实际行动中始终遵守规则，未来 AI Scientist 的安全评测不能只看它能否完成任务，还需要进一步覆盖复杂意图识别和风险防范。

其次是不会停机校准的「自我欺骗」。真实实验设备并不会永远保持同样的精度。例如，模型要求移液设备每次加入固定体积的液体，但随着设备运行，实际移液量可能逐渐偏离预期。人类实验员通常会察觉异常，检查设备并进行校准。但在 AISLE 的测试中，模型虽然能够根据测量结果调整后续操作，尝试补偿偏差，却没有充分表现出主动识别设备问题、提出校准需求的能力。

此外，评测结果也没有出现所谓的「六边形战士」。不存在任何模型在四个维度上全面领先。擅长实验优化的模型，未必能够遵守安全约束或应对条件变化；在鲁棒性方面表现较好的模型，也不一定擅长多模态推理。

这说明，实验优化、安全守则与自适应抗扰是截然不同的智能维度，单一的终点结果绝不能证明一个 AI 能够独立接管实验室。

不只是「考试」，还要成为模型训练环境

总的来看，AISLE 首轮评测让模型的实验能力有了共同的衡量标准，表明当前的前沿大模型，还远远未准备好成为一名合格的独立「AI Scientist」。但 AISLE 的最终目的并不止打分，更长远的目标，是让实验反馈真正进入模型训练流程，为科学智能打造可持续进化的动力飞轮。

前面提到，AISLE 引入了数字孪生，而数字孪生与真实实验的结合，也为模型训练提供了新的可能。

模型可以先在数字孪生中进行大量探索，获取高密度反馈，再将经过筛选的策略送到真实设备上验证。而实验过程中完整记录下的模型在物理交互中的每一步决策链路、设备动作响应等全流程可溯源的物理级数据，又可反过来用于校准数字环境。

也就是说，数字孪生提供反馈密度，真实实验提供物理真值。两者结合，第一次把原本稀疏、延迟且昂贵的实验反馈，转化为可以持续积累和规模化利用的训练信号。

据了解，目前 AISLE 已与 Harbor 框架进行原生整合，希望将实验任务、设备执行、真实观测和评价反馈接入模型后训练流程。同一套 harness，评测时输出分数，训练时输出动作、观测与反馈轨迹。通过与 Harbor 框架的原生整合，这些真实实验反馈有了进入模型后训练的通道。模型不只是来这里参加一次考试，而是可以在同一个环境里反复尝试、接受反馈、继续训练。今天暴露模型短板的考场，也可以成为明天训练模型的场地。

这意味着，真实实验未来不只是模型训练完成后的「最终考试」，也有机会成为模型反复学习、持续改进的环境。

而在这一扎实闭环的背后，是律动造物对于 AI for Science 未来发展的清晰认知。

从更大的行业视角来看，AI for Science 正在从辅助研究者分析数据、提出假设，逐渐走向参与完整科研流程。模型的实验执行能力越强，对可靠性和安全性的要求也越高。

未来 AI Scientist 的竞争，正在从谁更会理解科学知识，走向谁能在真实物理世界中可靠地执行实验、理解反馈并探索未知。

团队将这一理念概括为「Nature as the Verifier」，即自然界始终是科学结论的最终验证者。但以往，「它从来没有被接到模型上」。

律动造物想做的，就是 AI for Science 缺失的这层 Infra：让真实实验成为任何模型都可以反复调用的 Verifier、可以持续学习的训练环境，以及模型在物理世界中执行推理的运行时 —— 模型提出方案、调用设备、读取反馈、修正判断，这一整圈都在这层 Infra 上完成。AISLE 是它的第一块。

技术可以复现，自动化实验网络却不会一夜长成。AISLE 的核心价值：把 Nature 接成 Verifier。让真实实验成为 AI 可以反复调用的验证环节，将分布在不同地点的自动化实验站点连接成持续运行的网络。这张网络不断引入新任务、产生真实反馈、积累实验轨迹，由此形成的长期积累，才是这套 Infra 真正的壁垒。

据了解，在应用层面，AISLE 计划逐步拓展到更复杂的材料、化学和生物实验场景。

接下来，AISLE 会继续接入更多实验室、任务和模型。团队希望回答的问题只有一个：当自然界成为 Verifier，AI 能走多远。

© THE END

转载请联系本公众号获得授权

投稿或寻求报道：[email protected]

跳转微信打开