LangChain 推出 Jev:基于 TypeSafe AI 的 System One 模型加速智能体决策循环

原标题:What Is Jev? A Guide to TypeSafe AI’s System One Model
68AI 研判分

LangChain 发布名为 Jev 的新型智能体架构组件,旨在解决传统 LLM 代理循环中因频繁调用大模型导致的延迟与高成本问题。Jev 引入“System One”快速直觉式推理机制,通过结构化输出与工具调用的深度融合,在无需完整大模型介入的情况下完成部分决策评估,从而显著提升智能体执行效率。该方案标志着智能体开发从单纯依赖 LLM 向混合认知架构演进的重要一步。

报道正文

本文目录2 个章节

Sydney RunkleHunter LovellSeptember 17, 20265min返回博客创建智能体创建智能体

智能体在循环中运行:LLM 决定下一步行动,工具执行操作,模型评估结果,然后继续该循环,直到任务完成。

最初,将智能体和 LLM 集成到依赖结构化数据和可预测接口的软件应用程序中非常困难。随后出现了两个基础原语,使这一过程变得更加容易:

  • 工具调用 让模型能够发起结构化请求并接收结构化结果。
  • 结构化输出 让模型能够返回重构后的结果。

但即使有了这些机制,智能体循环仍然缓慢且昂贵:每个决策都需要另一次模型调用。

这时,Jev 登场了。Jev 是 TypeSafe AI 发布的一款新模型。该公司报告称,在分类任务上,其推理速度比同类 LLM 快高达 200 倍,成本低高达 400 倍。

本文将介绍 Jev 的工作原理、它在智能体循环中的定位,以及如何将其与 LangChain 结合使用。

关于 Jev

Jev 实际上并不是传统的 LLM,它不生成文本。它是 TypeSafe AI 团队所称的 System One 模型:

📖 System One 模型是一类旨在做出快速、结构化决策的 AI 模型,软件可以直接使用这些决策。System One 模型评估一个 状态,并返回带类型的回答和概率。

它使用 用于校准决策的强化学习(RLCD) 进行训练。你的代码利用这些结果来指导智能体的下一步行动,而无需为每个决策进行完整的聊天 LLM 调用。

要调用 Jev 模型,你需要向它发送一个 状态(上下文)以及关于该状态的 问题。以下是 他们的文档 中支持工单示例的单问题版本:‍

JSON
{
  "model": "jev-latest",
  "state": "Hi, I've been trying to connect my Stripe account for 3 days and it keeps failing. I'm losing sales. Please help ASAP.",
  "questions": {
    "is_urgent": {
      "type": "noul",
      "instructions": "The message conveys urgency or time-sensitivity"
    }
  }
}

文档中的示例给出了如下紧急程度判断结果,此处仅展示该部分响应:‍

JSON
{
  "is_urgent": {
    "type": "noul",
    "noul": 0.999
  }
}

这意味着该消息具有紧急性的概率为 99.9%,你的应用程序可以利用这一结果来优先处理工单。

支持以下三种类型的问题:

  • Choice(选择): 从一组选项中挑选。返回每个选项的概率以及整体置信度分数。
  • Score(评分): 根据有序等级(如低、中、高)对输入进行评级。返回连续分数、底层分布以及置信值。
  • Noul(是非题): 回答一个是非问题。返回陈述为真的概率。

这里的一个关键特性是,你可以在单次请求中针对同一状态提出多个问题。

💡 System One 模型会并行评估请求中的每一个问题。增加问题数量几乎不会改变响应时间,且仅额外消耗用于这些问题的 token,成本极低。

关于针对支持工单提出多个问题的示例,请参阅 TypeSafe Quickstart。

总之,与传统 LLM 不同,Jev 既不受文本生成的限制,也不受顺序决策的限制!

如何在 LangChain 中使用 Jev

LangChain 的提供商无关模型非常适合在支持 Jev 的同时,兼容数千种其他集成和模型提供商。

LangChain 集成通过 TypeSafeClassifier 暴露 Jev 功能。你将状态和问题传递给 .invoke(),从而获得分类结果而非聊天回复。

安装 langchain-typesafe 并设置你的 TYPESAFE_API_KEY,然后发起调用:‍

PYTHON
from langchain_typesafe import Noul, TypeSafeClassifier

classifier = TypeSafeClassifier()

response = classifier.invoke({ "state": ( "The deploy failed twice and customers are seeing 500s. " "Can someone look now?" ), "questions": { "urgent": Noul( instructions="Does this need attention right now?" ), }, })

urgency = response.nouls["urgent"].noul

文本

状态可以是文本、结构化数据或 LangChain 消息。这使得你可以直接使用智能体已有的上下文,在节点或中间件钩子中调用 Jev。

你可以将其集成到自定义中间件或工具中!

## 使用场景

Jev 并不是 LLM 的直接替代品。它不生成文本,但能够处理我们通常依赖 LLM 完成的分类任务,且无需承担相同的延迟和成本。这使它成为驱动你智能体的模型的有力补充:用 LLM 进行开放式推理和生成,用 Jev 在流程中做出快速、结构化的决策。

### **模型路由**

简单的查询不需要与高难度调试任务相同的模型。[模型路由中间件](https://docs.langchain.com/oss/python/integrations/providers/typesafe#model-routing)允许 Jev 评估请求,并根据你定义的标准选择模型,从而为简单任务提供快速且低成本的方案,为复杂任务提供更强大的能力。`‍`

from langchain.agents import create_agent from langchain_typesafe.experimental.middleware import ( ModelChoice, ModelRouterMiddleware, )

router = ModelRouterMiddleware( choices={ "fast": ModelChoice( model="openai", criteria="Direct lookups, extraction, and localized changes.", ), "powerful": ModelChoice( model="openai", criteria="Architecture and high-stakes decisions.", ), }, instructions="Choose the least costly model that can complete the task.", )

agent = create_agent("openai.6-luna", middleware=[router])

文本

`‍`路由器根据最新的用户消息选择模型,并在整个运行过程中使用该模型。概率和置信度信息也会保留在智能体状态中。

### **自动模式**

智能体本质上仍然不可完全信任。智能体可能会收到不良指令(无论是自然产生的还是来自足够有动机的攻击者),这些指令可能诱使智能体执行我们不希望其采取的操作。

像 Claude、Codex 和 Cursor 这样的编码工具(coding harnesses)已经推出了一些机制,用于在危险操作执行*之前*对其进行分类,这逐渐帮助建立了用户对智能体(agents)的信任。此前,这一分类器步骤一直隐藏在工具的闭源部分中。

现在,随着一款低成本且高性能的分类器模型问世,我们可以将同样的模式推广到所有智能体上!

from langchain.agents import create_agent from langchain_typesafe.experimental.middleware import ( AutoModeMiddleware, )

guardrail = AutoModeMiddleware(tools=["bash"])

agent = create_agent("openai.6-luna", middleware=[guardrail])

文本

[AutoModeMiddleware](https://docs.langchain.com/oss/python/integrations/providers/typesafe#tool-risk-gating) 使用 Jev 来检查工具调用可能带来的风险决策,并在工具执行前拦截这些调用。

## 立即开始!

我们对 Jev 及其带来的可能性感到非常兴奋。我们已经看到了一些很棒的项目:Browserbase 的 [Kyle Jeong](https://x.com/kylejeong/status/2100622054945095934) 正在以不到一美分的成本为浏览器使用智能体提供动力;[Jarrod Watts](https://x.com/jarrodwatts/status/2100356151468585346) 构建了一个实时交易智能体;而 [Ryan Vogel](https://x.com/ryanvogel/status/2100042788851101842) 则在进行大规模的邮件分类处理。

如今每周都有新模型发布,但这款模型引发了格外强烈的反响。我们很期待看到大家利用 LangChain 和 Jev 构建出什么产品。

请在 [论坛](https://forum.langchain.com/) 上告诉我们你的想法,在 [X](https://x.com/LangChain?lang=en) 上标记我们并分享你正在构建的内容,或者参与 [LangChain 的 GitHub issue](https://github.com/langchain-ai/langchain) 讨论!

![](https://cdn.prod.website-files.com/65b8cd72835ceeacd4449a53/69ce01ea562f8cc223cabf25_Frame%202147254328.svg)

### 洞察智能体的真实行为

LangSmith 是我们的智能体工程平台,它帮助开发者调试每一个智能体决策、评估变更,并实现一键部署。

[试用 LangSmith](https://smith.langchain.com/)[获取演示](https://www.langchain.com/contact-sales)