AI 模型增强 COBOL 等低资源语言编码能力

我们最新模型的进展为构建和迁移 COBOL、Fortran 和 Visual Basic 等资源匮乏的编程语言中的软件带来了更强的能力。与 Python 和 JavaScript 等语言相比，这些语言可供模型学习的代码和文档更少，但它们支撑着全球的关键基础设施和基本服务。COBOL 支持⁠(opens in a new window) 超过 40% 的在线银行系统、80% 的线下信用卡交易以及 95% 的 ATM 交易，而 Fortran 则用于天气预报⁠(opens in a new window) 和核反应堆安全分析⁠(opens in a new window)。提升 AI 在这些语言中的工作能力，有助于团队维护和现代化那些基本服务所依赖的软件。

这项工作以开发者和企业客户的反馈为指导，他们告诉我们，编码模型往往难以处理这些语言。维护和现代化此类软件可能颇具挑战：文档可能不完整，原始开发人员可能已离职，且重要的业务规则可能仅存在于代码中。无论团队是在修复 Bug 还是迁移到其他语言，都需要保留其系统所依赖的行为逻辑。

为了衡量进展，我们开发了两项评估基准。MultiLangBench 测试模型能否在 20 种不同的编程语言中从零开始构建一个兼容 SQLite 的数据库引擎。我们的 COBOL 迁移评估则测试模型能否将现有程序迁移到另一种语言，同时保持其行为不变。这两项评估共同考察两种互补的技能：构建新软件以及保留现有软件的功能。

我们最新的模型在这两项评估中都显示出显著提升，以更低的成本实现了高得多的准确率。

在 MultiLangBench 上，GPT‑6 Astra 在 20 种编程语言中的平均测试通过率达到了 87.4%，较 GPT‑5.6 Sol 的 26.8% 大幅提升，且在每种受测语言中均有改进。GPT‑6 Luna 也超越了 GPT‑5.6 Sol，达到 40.3% 的通过率，同时估计 API 成本降低了约 78%。

在我们的 COBOL 迁移评估中，GPT‑6.1 Sol 在低推理强度（low reasoning effort）下实现了 86.6% 的准确率，而 GPT‑5.6 Sol 仅为 5.4%，同时成本降低了 39%。在更高的推理强度下，准确率高达 97.9%，几乎达到了该评估的上限。

综合来看，这些结果表明我们的模型在处理各种编程语言方面的能力显著增强，同时也变得更加具有成本效益。

1. 从零构建 SQLite（MultiLangBench）

MultiLangBench 要求模型使用指定的编程语言构建一个兼容 SQLite 的数据库引擎。模型必须组织代码库、管理状态、处理错误，并在保留现有功能的同时添加新功能。

为了比较不同语言下的实现效果，我们使用数据库文件作为共享接口。候选程序接收初始数据库和一个 SQL 查询，然后生成修改后的数据库。我们利用参考 SQLite 实现来检查生成的数据库是否具有预期的内容。这使得我们可以应用相同的测试标准，无论用于构建引擎的语言是什么。

我们将 SQLite 现有的测试套件适配到此格式中。该评估衡量模型在长时间编码会话中能构建多少可用的功能，并报告测试通过率和 API 成本。

在最大推理强度下，GPT‑6 Astra 在 20 种语言中的平均测试通过率达到 87.4%，高于 GPT‑5.6 Sol 的 26.8%。所有受测语言均有改进，包括 COBOL（从 10.9% 提升至 72.1%）、OCaml（从 25.6% 提升至 85.8%）、Fortran（从 21.4% 提升至 83.5%）以及 Visual Basic（从 27.5% 提升至 89.4%）。Astra 在 20 种语言中有 19 种的得分超过 83%，其中 COBOL 仍然是最难的一种，得分为 72%。

GPT‑6 Luna 提供了一种更低成本的选项，在所有受测语言中也优于 GPT‑5.6 Sol。在最大推理强度下，其平均测试通过率达到 40.3%。提升幅度包括 COBOL（从 10.9% 提升至 17.1%）、OCaml（从 25.6% 提升至 34.1%）、Fortran（从 21.4% 提升至 31.4%）以及 Visual Basic（从 27.5% 提升至 41.6%）。这些改进的平均 API 成本估计为每个样本 $0.77，而 GPT‑5.6 Sol 为$3.48，大约低了 78%。

我们在 GitHub⁠(opens in a new window) 上发布了 MultiLangBench 评估设置和测试套件，以及每种语言的结果。开发人员可以查看评估测试的内容，审查他们使用的语言的性能表现，并识别出对其工作至关重要的差距。

2. 迁移 COBOL 代码库

我们的第二项评估要求模型将 COBOL 程序迁移至 C++、Java、Kotlin、Python 或 Rust，同时保持每个程序的功能不变。

成功的迁移需要同时理解程序的业务逻辑以及 COBOL 特有的语言行为。COBOL 程序通常处理金融交易和业务记录，其中舍入规则、缺失记录处理等细节反映了具体的业务需求。例如，COBOL 的定点算术运算会直接丢弃多余的小数位，除非显式请求进行舍入。如果重写版本对这些值进行了舍入处理，虽然运行不会报错，但可能会产生不同的财务结果。

为了测试这些行为是否得到保留，我们在隐藏测试集上评估模型，要求可观察输出实现字节级完全一致（byte-for-byte parity）。只有当所有测试均通过时，才视为迁移成功。这类保持行为一致性的能力对于维护和现代化旧系统的团队非常有用，但在将其应用于生产软件时，仍需专家审核，并针对系统的业务规则和依赖关系进行测试。

在此评估中，GPT‑6.1 Sol 在低推理强度（low reasoning effort）下达到了 86.6% 的准确率，而 GPT‑5.6 Sol 在相同设置下的准确率仅为 5.4%，且前者的 API 成本仅为其 61%。在高推理强度下，准确率提升至 97.9%，使该评估接近饱和状态。这些评估结果表明，在为依赖软件进行现代化的团队提供更准确、更经济的代码迁移方面取得了进展。

提升企业软件领域的功能

这些评估结果，结合来自开发者和企业客户的直接反馈，帮助我们了解模型在哪些方面有所改进，以及在哪些方面仍存在不足。

我们的目标是帮助模型在更多编程语言中应用软件工程技能：包括理解陌生的代码仓库、规划变更、使用构建工具、运行测试以及调试故障。

你可以通过 API 在你团队使用的编程语言中尝试我们最新的模型来处理编码任务。你对哪些功能有效、模型在何处表现挣扎，以及我们应该优先关注哪些语言或工作流的反馈，将有助于塑造我们训练和评估模型的方式，从而更好地支持你所依赖的软件。