TypeSafe AI 发布 Jev：输出类型化概率的决策模型

Jev是TypeSafe AI发布的首款System One Model，专为类型化概率决策设计，不生成文本，而是输出带置信度的Choice/Score/Noul结构化响应，支持高置信度自动执行与低置信度人工升级。

采用校准决策强化学习训练；输入成本0.042美元/百万Token、输出免费、32K上下文、端到端延迟70–500ms；已获Vercel AI Gateway、Netlify及LangChain官方集成。

适合AI基础设施工程师、LLM应用架构师、决策系统开发者阅读。

前 OpenAI 研究员 Diogo Almeida 创立的旧金山 AI 实验室TypeSafe AI发布了Jev，这是其所谓的 System One Models 中的首款产品。Jev 不生成文本，而是返回带有类型的概率化决策，软件可以直接据此采取行动。

调用方会发送一段状态信息（可以是字符串或结构化数据）以及一组带有类型定义的问题。Jev 会在单次并行处理中对它们进行全部评估，并返回Choice（选择）、Score（评分）和Noul（布尔概率）答案，同时附带概率分布和置信度值。这样，调用代码就可以在置信度高于阈值时直接执行操作，并在低于阈值时进行升级处理。其输入成本为每百万 Token 0.042 美元，输出免费，上下文窗口为 32000 个 Token，TypeSafe 给出的端到端延迟为 70 毫秒至 500 毫秒。该模型的训练采用了一种名为“校准决策强化学习”（Reinforcement Learning for Calibrated Decisions）的方法。

Vercel 在 Jev 发布的第二天就将其加入了AI Gateway，并表示在 24 小时内，它已覆盖了近13%的付费团队，这一比例是 GPT-5.6 系列模型的两倍。Netlify 随后也进行了跟进，LangChain 发布了TypeSafeClassifier集成，支持模型路由以及一种 AutoMode 中间件，该中间件可在工具调用执行前对其进行筛查。此外，几天内还涌现出五个独立的Elixir语言客户端。

Vercel 的工程师 Pranit Sharma 发现，安全分类器的运行速度比它所替代的大语言模型（LLM）快了5到18倍。Bryo AI 的 CTO Nikhil Mudholkar 认为，Gemini在邮件分类上的准确率略高，但成本却高出了 10 到 20 倍，他看重 Jev 是因为它是唯一能返回真实概率的模型。Earendil 的 CTO Armin Ronacher 在接受TechCrunch采访时表示，这种设计“在一定程度上将幻觉问题交给了用户”，因为用户必须自行决定 50%的概率是否值得采取行动，他还指出模型路由是另一个非常适合的应用场景。OpenChamber对 12759 条发布推文进行的分析显示，用户报告的速度提升中位数为 7 倍（远低于官方宣称的 193.6 倍），成本节省的中位数为 30 倍，延迟中位数为 76 毫秒，上四分位数为 270 毫秒。

Reddit上的一位开发者称该模型在 200 毫秒到 300 毫秒延迟下处理智能体任务的表现“绝对疯狂”，而 Hacker News 上的一位早期体验用户称其“非常巧妙”，同时提醒其分布外行为（out of distribution）的表现会与大语言模型有所不同。

在Hacker News上，一位开发者指出，Jev 虽然不会输出无效的类型，但仍然可能输出完全错误的合法值：

首先，祝贺团队发布了真正有趣且新颖的东西。不过，似乎更准确的标题应该是“Jev：用通用生成能力换取快速的类型化推理”。 这确实很有意思，但速度对比似乎有些误导性？能够输出图灵完备语言代码的生成式模型，理论上可以完成计算机能做的任何事情。 Jev 只能生成结构化输出，对吧？这对于分类、路由、评分可能非常有用，但它与我们今天用于代码和自动化的代码生成模型完全不同。 另外，“不会产生幻觉”的说法似乎不准确？确实，它不会输出无效的类型，但仍然可能输出完全错误的合法值。你完全可以通过适当的约束机制等，强制大语言模型输出结构化内容。

准备替换 LLM 分类器的团队应从jev-1.13版本的“已知不稳定特性（jaggedness）”页面入手，该页面记录了其在计数、算术和日期比较方面的不可靠性，以及在处理包含大量噪声的长状态信息时准确率的下降问题，并建议将数学计算保留在代码中完成。在版本管理上，请固定使用如 jev-1.13.0 这样的具体版本，而不是使用不断更新的jev-latest和jev-preview别名，在进行基准测试时，请使用System One adapter适配器让现有模型针对相同的 Schema 运行。快速入门指南涵盖了 API 密钥、SDK 和 Playground 的使用说明。

TypeSafe AI 是一家位于旧金山的 AI 实验室，由 Diogo Almeida、Erik Gafni 和 Sasha Sheng 共同创立。Almeida 是 RLHF 的联合发明人，并参与了 ChatGPT 背后的研究工作。

查看英文原文：TypeSafe AI Releases Jev: A Decision-Only Model That Returns Typed Probabilities Instead of Text