ScaleDown 发布约束解码模型：单次预填充直接抽取答案，成本降低 467 倍且输出免费

Rohan Paul (@rohanpaul_ai) · 2026-10-13 12

从一份 300 页的 PDF 中提取截止日期，本不需要一个具备生成能力的模型。

决策模型现已支持 100 万 token 的上下文窗口，并且能够处理图像输入。

ScaleDown 发布了 3 款小型模型（Classify、Extract、Summarize），专门用于处理那些通常由智能体交给昂贵 LLM 执行的简单、重复性任务。

相比前沿 LLM API，其速度提升 200 倍，成本降低 467 倍。每百万输入 token 仅需 $0.05，且输出免费。

更重大的变革在于，同一套架构设计现在涵盖了分类、提取和摘要功能。

与传统 LLM 的区别在于，这些模型不会逐 token 地生成答案。它们一次性读取多达 100 万 token 的文本和图像，并直接从输入中选取答案，因此输出是免费的，且结果始终限定在你的标签或源文本范围内。

ScaleDown 的约束解码模型（Constrained Decoding Models）对输入执行一次预填充（prefill）操作，并从中选出答案：可以是一个标签、带有源偏移量的文本片段，或是属于摘要内容的段落。

↳ 引用 @neal_k_patel (Neal Patel): 既然你已经把答案给了 LLM，为什么还要让它从头开始写出来？

介绍一种全新的 AI 模型架构：约束解码模型（CDMs）

LLM 是为写作而生的。但大多数生产环境的工作负载只需要一个答案：快速、一致且经济实惠。

CDMs 专为单一任务定制。它们只需读取一次输入，便跳过了导致 LLM 缓慢且昂贵的逐 token 生成循环。

这不仅仅是一个决策模型，而是一个目前已有 3 款在线运行的 CDM 家族：

• Classify（分类）：定义你的标签，获取每个标签的校准概率及理由。用于路由、标记和意图检测。 • Extract（提取）：用自然语言描述实体，获取包含置信度分数和引用的格式良好的 JSON。用于网页抓取、文档处理和 PII（个人身份信息）脱敏。 • Summarize（摘要）：传入长文本、图像或 PDF，获取长度在 1,000 token 以内的一致性摘要。用于上下文压缩、元数据生成和转录稿摘要。

为生产环境构建：

• 支持 100 万 token 的多模态（文本 + 图像）输入，比 Jev 大 31 倍 • 在 DecisionBench 上得分 77.2%，而 Jev 为 72% • 比前沿 LLM API 快 200 倍，便宜 467 倍 • 每百万输入 token $0.05。输出免费（是的，即使是摘要任务也免费）

今日已在您喜爱的平台上上线： @OpenRouter @vercel_dev @LiteLLM @LangChain @TrustedRouter @itsArthurAI @useRouterPlus

点击下方链接，前 50 小时可免费获得 5000 万输入 token 👀