清华与月之暗面发布 TCSExam:GPT-6 Astra 证明 70% 定理却解不出开放猜想
原标题:New Tsinghua and Moonshot AI paper finds that GPT-6 Astra proves 70.0% of research-level computer sc...
78AI 研判分
清华大学与月之暗面联合发布 TCSExam 基准,包含 100 项专家评审任务,覆盖 Lean 定理证明、求解器工程、破纪录构造与 30 个开放猜想四大方向,所有提交均由 Lean 内核或任务检查器验证。结果显示,GPT-6 Astra 在无提示引理条件下完整证明率达 70.0%,Kimi K3.1 Pro 为 38.3%,其余 6 个智能体最高仅 11.7%;但在 30 个理论计算机科学开放猜想上,同一模型全部失败,少数被接受的提交也只是改编了 OpenAI 已公开的反例与证明。
报道正文
Rohan Paul (@rohanpaul_ai) · 2026-11-08 18
清华大学与月之暗面(Moonshot AI)的一篇新论文发现,GPT-6 Astra 能在 Lean 中证明 70.0% 的研究级计算机科学定理,但同一模型在理论计算机科学(TCS)的 30 个开放猜想中一个也未能解决。
理论计算机科学是检验 AI 研究能力的天然测试场,因为证明可以被机器验证,纪录也可以被打破。现有基准只覆盖了其中的部分环节,比如证明或代码。
TCSExam 包含 4 个赛道共 100 个经专家评审的任务:Lean 定理证明、求解器工程、破纪录构造,以及 30 个开放猜想。每一次提交都由 Lean 内核或任务检查器进行验证。
在不提供引理的情况下,GPT-6 Astra 在 70.0% 的尝试中完整证明了定理,Kimi K3.1 Pro 为 38.3%,其余 6 个智能体最高仅为 11.7%。少数被接受的猜想提交,只是改编了 OpenAI 此前已公开发表的反例和证明。
