术语slug: constrained-decoding

约束解码

Constrained Decoding

在生成过程中施加规则限制,确保输出符合特定语法、词汇或语义要求

收录情报动态

共 9 篇 · 第 1/1 页
AWS Machine Learning BlogT1·开发与工程
38 分
Amazon Bedrock 支持 Claude 结构化输出

Amazon Bedrock 现已为所有 Anthropic Claude 模型提供原生结构化输出功能,确保生成符合 JSON Schema 的响应。该更新通过约束解码技术消除了开发者对自定义解析、重试逻辑及后处理的需求,提升了数据提取与自动化工作流的可靠性。

Rohan Paul (@rohanpaul_ai)T2·开发与工程
68 分
TypeLLM 开源工作流模型:基于 SGLang 约束解码实现单 API 调用类型安全执行

TypeLLM 推出首个“工作流模型”,允许开发者通过单个 JSON Schema 定义复杂依赖关系,并在一次 API 调用中完成整个工作流执行。该工具底层集成 SGLang,利用约束解码技术确保输出严格符合枚举、数值范围等类型定义,无需修改模型权重即可在 Qwen 等开源模型上获得类型安全的结构化输出。

OpenRouter (@OpenRouter)T1·基座大模型
68 分
Scaledown 团队推出约束解码模型家族:跳过生成循环实现单任务极速推理与结构化输出

Scaledown 团队在 OpenRouter 上线了专为单一任务设计的“约束解码模型”(CDMs)家族,涵盖摘要、提取和分类功能。该架构通过读取输入一次并跳过传统 LLM 的逐 token 生成循环,显著降低了延迟和成本,同时提供带置信度分数的结构化 JSON 输出。目前正值发布期,输入 Token 价格低至 $0.04/M,且前 50 小时提供 50M 免费额度。

Rohan Paul (@rohanpaul_ai)T2·基座大模型
78 分
ScaleDown 发布约束解码模型:单次预填充直接抽取答案,成本降低 467 倍且输出免费

ScaleDown 推出基于“约束解码”架构的三款小型决策模型(分类、提取、摘要),通过单次预填充直接从输入中选取答案而非逐词生成。该方案支持百万 token 上下文与图像输入,相比前沿 LLM API 速度提升 200 倍、成本降低 467 倍,且输出阶段完全免费。

LangChain BlogT1·开发与工程
48 分
LangChain 集成 ScaleDown:用约束解码模型加速长程智能体的上下文压缩与摘要

LangChain 推出 `langchain-scaledown` 集成,利用 ScaleDown 的约束解码模型(CDMs)替代前沿 LLM 执行智能体中的摘要、工具结果压缩和数据提取任务。该方案旨在解决长程运行智能体中频繁上下文管理导致的延迟高和成本昂贵问题,并已通过 LangSmith LLM Gateway 实现调用追踪与计费整合。

Hugging Face BlogT1·开发与工程
48 分
Transformers 引入约束束搜索控制生成

Hugging Face Transformers 库正式集成约束束搜索(Constrained Beam Search)功能,允许开发者在文本生成过程中强制包含特定词汇或短语。该特性通过修改解码逻辑,解决了传统束搜索无法保证输出包含关键信息的问题,适用于机器翻译、摘要等需严格遵循术语的场景。