一位资深投研 Agent 开发者删除了长期维护的网页清洗与信源管理脚本,转而采用支持独立接入、返回结构化结果(摘要+原文段落)的搜索 API。这一转变反映了在 Bing Search API 关停及 Agent 联网需求增长的背景下,开发者倾向于将信息获取环节解耦,以专注核心研究逻辑与信源验证。
结构化输出
Structured Output
强制模型以预定义格式(如 JSON)生成响应,便于程序解析
收录情报动态
DeepSeek 宣布将其内部推理框架 DeepInfer 全面开源,旨在通过优化大规模模型服务的吞吐与延迟来降低算力成本。该框架集成了高性能算子、推测解码及 SWA Bounded Replay 等关键技术,并原生兼容英伟达与华为昇腾平台。同时发布的 deepseek-recipe 组件确保了社区 API 体验与官方部署的一致性。
Amazon Bedrock 现已为所有 Anthropic Claude 模型提供原生结构化输出功能,确保生成符合 JSON Schema 的响应。该更新通过约束解码技术消除了开发者对自定义解析、重试逻辑及后处理的需求,提升了数据提取与自动化工作流的可靠性。
Cloudflare 发布开源命令行工具 cf,专为 AI 代理设计,支持结构化 JSON 输出与命令发现,旨在解决旧工具 Wrangler 命名混乱及非机器友好问题。该工具采用 TypeScript 编写并集成 Vite,计划通过 18 个月过渡期逐步弃用 Wrangler,以统一云平台交互范式。
Artificial Analysis 推出“决策指数”v1.0,专门用于评估新兴的“决策模型”。该指数通过分类、工具调用、知识检索、幻觉抑制及推理五个维度,量化模型在单次调用中输出结构化选项及其概率的能力。
本文介绍了一种名为“系统一”的决策模型(如 Jev),它通过掩码限制词汇表,在单次前向推理中直接生成固定选项的结构化输出,显著优于传统 LLM 的多步解码。文章提供了 GitHub 仓库,指导开发者如何构建数据集、微调及校准此类模型,以实现低延迟、高确定性的分类或决策任务。
微软推出 Microsoft-Decision-1,这是一款专为快速决策评分设计的新模型,旨在通过极低延迟和高质量输出处理路由、分类及优先级排序等结构化任务。该模型在性能上超越了通用大语言模型及其他专用决策模型,现已上线 Microsoft Foundry 并即将接入 OpenRouter,标志着 AI 从生成式推理向高效执行型决策的重要演进。
OpenAI 发布处于公测阶段的 Decisions API,专门用于从文本和图像中获取概率、固定选项或评分等类型化答案。该接口比 Responses API 快约 10 倍,目前仅支持 gpt-6-luna 模型,旨在简化内容分类与请求路由逻辑。开发者可通过 Playground 体验,并需使用最新版本的 SDK 进行集成。
LangChain 发布名为 Jev 的新型智能体架构组件,旨在解决传统 LLM 代理循环中因频繁调用大模型导致的延迟与高成本问题。Jev 引入“System One”快速直觉式推理机制,通过结构化输出与工具调用的深度融合,在无需完整大模型介入的情况下完成部分决策评估,从而显著提升智能体执行效率。该方案标志着智能体开发从单纯依赖 LLM 向混合认知架构演进的重要一步。
TypeSafe AI 推出新型模型 Jev,它不生成文本而是直接输出代码可执行的结构化决策。该方案旨在通过“代码掌控工作流、AI 处理窄域决策”的范式,替代昂贵且缓慢的传统 LLM 通用调用,并结合 LangGraph 实现生产级智能体的高效部署。