OpenAI 开放 Decisions API 对标 Jev 决策模型

OpenAI 首次向用户广泛开放其 Decisions API 模型，正式进入快速、低成本智能市场。这一领域近期让 TypeSafe——一家由前沿实验室前研究员创立的初创公司——估值达到 76 亿美元。

TypeSafe 的 Jev 模型开创了一个新类别：作为超级分类器的深度学习模型。给定一组选项，它们能够迅速做出选择并提供决策置信度评分。软件开发者很快发现，这些决策型或“系统一”（System One）模型可以在多种工作流中替代 LLM，运行速度更快且成本大幅降低。

OpenAI API 产品负责人 Nikunj Handa 告诉 TechCrunch，他的同事们看到 Jev 后惊叹道：“哇，我们有一百万种用例可以用到它。”Handa 的团队迅速行动，推出了自己的版本：团队没有专门构建一个经过校准的决策模型，而是对 ChatGPT Luna 进行重新配置，以加快推理速度并降低成本。

“Decisions API 的关键突破在于速度，将响应时间从 1 到 3 秒缩短至 100、120 或 180 毫秒，”Handa 表示。“未来，我们可能会通过特定训练使模型在这些方面表现更佳。但目前，仅仅是标准的 Luna 就能胜任这项工作。”

该公司在 9 月 29 日的开发者大会上宣布了 Decisions API，并于周四向所有客户开放。OpenAI 在公开版本中新增了语音和视觉模态，并通过地理定位推理资源，致力于在全球各地区实现更低的延迟。

在与 Box、Datadog、Ramp 和 Speak 等客户的初步试验中，工程师们使用该 API 替换了 OpenAI 的 LLM，从而获得了更高的吞吐量。开发 AI 语言导师应用的 Speak 公司 CTO Andrew Hsu 表示，Decisions API 帮助公司将动作之间的间隔时间从 1.4 秒缩短至 0.13 秒。OpenAI 也利用该产品提升了其 Dots 语音助手的响应能力。

不过，究竟什么才算是一个优秀的决策模型，目前仍不明朗——除了“对你有效”这一标准之外，在智能、成本、校准度和速度之间的优化权衡似乎因工作负载而异。TypeSafe 首席执行官 Diogo Almeida 对基准测试持怀疑态度，并敦促人们在自己的实际工作中试用这些模型；但即便如此，TypeSafe 上周在发布其最新的 Jev 模型时，也一并发布了自己的排名。该新模型支持图像处理和 smart-if 语句等新功能。

诸如 AIM System One Index 和 Artificial Analysis Decision Index 等公开基准测试往往青睐 Liquid 上周发布的新型决策模型 D1 Ultra，以及 Base Lab 的 Elephant-1。最新的 Jev 模型在这两个指数上依然保持竞争力，分别位列第七和第三，而 OpenAI 的 Decision Model 则分别排在第八和第十四位。然而，就现阶段而言，TypeSafe 的产品是 OpenRouter 上被查询次数最多的。

不过，最有趣的 Jev 基准测试当属 JevMan，这是一个让决策模型玩吃豆人（Pac-Man）游戏的测试项目；最新的 Jev 模型在该排行榜上位居榜首。构建该基准测试的 Opper AI 首席增长官 Felix Wunderlich 表示，这款经典游戏“是一项有趣的测试，因为它充满了连续不断、快速且高风险的决策。在每个路口，模型都必须在几百毫秒内决定前进方向。”

OpenAI 那款 arguably 更强大的模型可能在多模态方面具有优势。“对于图像分类任务，Luna 极其强大，并且一直展现出更好的校准效果，”Handa 告诉 TechCrunch，并补充说 OpenAI 的客户也希望 Decisions API 在将图像作为输出使用时能更加灵活。

Handa 还预见，速度的进一步提升将催生新的用例：“如果我们能把延迟降低到大约 60 毫秒，那么你就可以想象这样一个 API：针对视频中的每一帧进行调用？”

随着这些产品变得更快、更便宜，我们可以期待它们真正体现以杰文斯（Jevons）命名的理念——这位经济学家曾解释过，更高效地使用资源反而会使该资源变得更加普及。或者用 Handa 的话来说，将会涌现出一系列“疯狂的新用例”，这些用例此前一直显而易见，只是直到决策模型将它们揭示出来而已。