ScaleDown 团队正式推出基于“约束解码”(Constrained Decoding)架构的专用小型决策模型家族,涵盖分类、提取与摘要三大核心任务。该范式彻底摒弃了传统 LLM 逐 token 生成的自回归循环,转而通过单次预填充直接从输入上下文中定位并抽取答案或标签。这一突破性机制使得处理速度较前沿 API 提升 200 倍,综合推理成本降低 467 倍,每百万输入 token 仅需 $0.05,且输出阶段完全免费。
多方信源交叉验证显示,该模型原生支持 100 万 token 超长上下文窗口及图像多模态输入,特别适用于文档解析与信息提取场景。其技术亮点在于提供带置信度分数和源引用的结构化 JSON 输出,并通过 Decisions API 返回校准概率,极大提升了自动化工作流的可靠性。目前正值发布期,OpenRouter 平台显示输入价格低至 $0.04/M,并提供前 50 小时 50M 免费额度,进一步降低了开发者接入门槛。
LangChain 已迅速集成 `langchain-scaledown` 中间件,标志着该技术在智能体生态中的落地。通过替代昂贵的前沿 LLM 执行确定性强、无需复杂推理的上下文压缩与摘要任务,ScaleDown 有效解决了长程运行智能体中因频繁上下文管理导致的高延迟与高成本痛点。这一事件不仅重塑了轻量级决策任务的性价比基准,也为构建高效、低成本的 AI Agent 基础设施提供了全新范式。