返回热点榜
llm热度 58.4°

AI 聚簇研判事件 · 2026/10/13

ScaleDown 发布约束解码模型家族:摒弃生成循环实现单次预填充推理,成本骤降 467 倍且输出免费

3 篇报道存证3 家独立信源交叉印证持续跟踪至 2026/10/13 20:49:00
全景综述与最新动态
3 家信源交叉印证

ScaleDown 团队正式推出基于“约束解码”(Constrained Decoding)架构的专用小型决策模型家族,涵盖分类、提取与摘要三大核心任务。该范式彻底摒弃了传统 LLM 逐 token 生成的自回归循环,转而通过单次预填充直接从输入上下文中定位并抽取答案或标签。这一突破性机制使得处理速度较前沿 API 提升 200 倍,综合推理成本降低 467 倍,每百万输入 token 仅需 $0.05,且输出阶段完全免费。

多方信源交叉验证显示,该模型原生支持 100 万 token 超长上下文窗口及图像多模态输入,特别适用于文档解析与信息提取场景。其技术亮点在于提供带置信度分数和源引用的结构化 JSON 输出,并通过 Decisions API 返回校准概率,极大提升了自动化工作流的可靠性。目前正值发布期,OpenRouter 平台显示输入价格低至 $0.04/M,并提供前 50 小时 50M 免费额度,进一步降低了开发者接入门槛。

LangChain 已迅速集成 `langchain-scaledown` 中间件,标志着该技术在智能体生态中的落地。通过替代昂贵的前沿 LLM 执行确定性强、无需复杂推理的上下文压缩与摘要任务,ScaleDown 有效解决了长程运行智能体中因频繁上下文管理导致的高延迟与高成本痛点。这一事件不仅重塑了轻量级决策任务的性价比基准,也为构建高效、低成本的 AI Agent 基础设施提供了全新范式。

最新动向/LangChain 已正式集成 `langchain-scaledown` 中间件,允许开发者在现有智能体架构中无缝替换前沿 LLM 以执行摘要与工具结果压缩。同时,OpenRouter 平台正提供限时优惠,输入 Token 价格降至 $0.04/M,并附带前 50 小时 50M 免费额度,加速了该约束解码模型在自动化工作流中的规模化应用。

热度曲线逐小时热度走势

3 个完整观测小时
当前
58.4
峰值
61.222:00
近 24h 变化
–

曲线只比较全程持续完整观测的同一批信源;缺口小时数据已插值平滑,保持趋势连续。

TIMELINE报道时间线

共 3 篇 · 最新优先
  1. OpenRouter (@OpenRouter)T1·68 分

    Scaledown 团队推出约束解码模型家族:跳过生成循环实现单任务极速推理与结构化输出

    原标题:A family of constrained-decoding models from @scaledown_team is live on OpenRouter, each one purpose...

    • 提出“约束解码模型”新范式,针对摘要、提取、分类等单一任务优化,摒弃通用生成能力以换取极致效率。
    • 核心机制是跳过逐 token 生成循环,直接基于输入进行决策或压缩,大幅降低推理延迟与算力成本。
    • 支持结构化输出(如带置信度和源引用的 JSON),并通过 Decisions API 提供校准概率,适合自动化工作流。
  2. Rohan Paul (@rohanpaul_ai)T2·78 分

    ScaleDown 发布约束解码模型:单次预填充直接抽取答案,成本降低 467 倍且输出免费

    原标题:Pulling a due date out of a 300-page PDF shouldn’t need a model that writes.

    • 引入约束解码模型(CDMs)新范式:模型不生成文本,而是从输入上下文中直接定位并返回标签或源文本片段。
    • 极致性能优化:相比传统 LLM API,处理速度提升 200 倍,综合成本降低 467 倍,每百万输入 token 仅需 $0.05,输出免费。
    • 多模态长窗口支持:具备 100 万 token 上下文窗口,原生支持图像输入,适用于文档解析与信息提取场景。
  3. LangChain BlogT1·48 分

    LangChain 集成 ScaleDown:用约束解码模型加速长程智能体的上下文压缩与摘要

    原标题:Building Long-Running Agents with ScaleDown and Deep Agents

    • ScaleDown 的约束解码模型(CDMs)被用于处理智能体中确定性强、无需复杂推理的上下文管理决策(如摘要、压缩)。
    • `langchain-scaledown` 中间件简化了将 CDMs 接入现有 LangChain 智能体架构的流程。
    • ScaleDown 模型调用已纳入 LangSmith LLM Gateway,支持统一的追踪、支出统计和速率限制管理。