METR 研究:AI 加速网络安全漏洞发现,数学贡献有限
作者:Jack Clark原标题:Import AI 470: No rights for machines; automating environment generation with SPADE; and building better GPU kernels with Hawkeye
68AI 研判分
METR 最新分析指出,大模型在网络安全领域显著加速了漏洞发现速度,但在数学研究中的实际价值量化困难。该研究揭示了 AI 对科学发现的加速呈现“相变”特征,即仅在特定技能突破临界点后产生爆发式增长。
报道正文
欢迎来到 Import AI,一份关于人工智能研究的通讯。Import AI 依托于 arXiv、卡布奇诺咖啡以及读者的反馈运行。如果您希望支持我们,请订阅。
AI 正在加速某些类型的进步,但并非所有类型: ……一项精彩的 METR 研究揭示了加速现象出现的具体领域…… 这里有一项来自 METR 的小型分析,探讨了 AI 可能在哪些科学和技术领域带来加速。该研究考察了三个不同领域:网络安全、数学和 AI 研究,发现 AI 对网络安全贡献巨大,对数学有少量贡献,而对 AI 本身的影响则难以定论。
LLM 究竟在哪些科学发现中发挥了实际作用?
- 网络漏洞:显著加速。 “与 2025 年相比,2026 年众多项目报告的漏洞数量急剧增加,无论是特定项目(如 cURL、OpenSSL、Firefox 和 Microsoft)还是汇总漏洞数据库(如美国 NVD 和 OSV)均如此。”
- 数学研究:轻微加速,但更难衡量。 “AI 显然促进了更多工作的完成(在某些领域,arXiv 投稿量在不到 12 个月内翻了一番),但要量化这些贡献的价值却十分困难。”一些来自权威列表的数学问题已被解决,例如“Smale 列表中的雅可比猜想、Green 列表中的第 44 号问题(减半筛法)以及 Green 第 100 号问题的 sofic 部分”。然而,现在判断这是否是一个持续的趋势可能还为时过早。
- AI 研究的优化:无可测量的加速。 当审视七个重要问题领域的算法进展(CIFAR-10、Hutter 压缩、Gurobi 混合整数规划、MIPLIB、nanoGPT、Stockfish 和矩阵乘法指数)时,虽然有几个领域出现了可归因于 LLM 的贡献(nanoGPT、CIFAR-10),但此处 AI 使用量的增长速率远低于网络安全和数学领域。
为何重要——差异化加速:本文着重指出,AI 正在推动部分科技领域取得进展,但这种影响并非在所有学科中均质分布,而是呈现出“块状”加速的特征(例如网络安全领域),而在另一些领域(如数学、AI 本身)则进展较为平缓。我推测,当模型在特定技能上经历某种难以言喻的相变时,加速便会发生;这一点在日常编程(2025年)和网络安全(2026年)领域已得到明显印证。关键问题在于:我们是否会在其他科技领域看到类似的相变,还是说不会?