Latent Space · 2026/10/10 14:45:57
Jev 与 OpenAI 同日发布决策模型:单次前向传播输出结构化概率取代自由文本生成
Jev、OpenAI 和 Microsoft 在同一天发布了“决策模型”,标志着 AI 从生成式对话向结构化判断的新品类转变。这类模型通过单次前向传播直接返回类型化答案(如概率、列表选择或评分),而非自由文本,旨在提升特定任务的速度与确定性。尽管 Jev 声称在发布三周内达到 100M ARR 和 75 亿美元估值引发争议,但多家厂商跟进表明该架构正成为行业新标准。
报道全文原始报道全文
尽管存在愤世嫉俗者和关于“水军”的指控,但我们希望显而易见的是,我们的 Jev 播客是 100% 真实的。
AI Twitter 回顾
决策模型成为一个产品类别
-
趋势模式:多家供应商在同一天发布了“决策”模型。这些模型在单次前向传播中返回类型化答案(概率、列表选项、分数),而非自由文本。Jev 成为大家基准测试的参考点,@scaling01 评论了这一格式扩散的速度之快。
-
OpenAI Decisions API:支持三种请求类型:判断条件为真的概率、从列表中选择选项,或按等级进行评分。该接口接受文本和图像输入,基于 GPT-6 Luna 运行,输入成本为每百万 token 0.10 美元且无输出费用,据 OpenAI 官方称其速度“提升高达 10 倍”(@LearnOpenCV)。
-
Microsoft-Decision-1:定位为用于 LLM 评判器及科学假设筛选的模型。早期评估者指出,决策模型在一致性和复杂决策方面仍面临挑战(@omarsar0)。
-
Perplexity pplx-decider-v1.1-27b:宣称在包含 1,071 个案例的 Decision Bench 上达到 94.5% 的最高准确率,成本为每千次决策 0.017 美元(@perplexitydevs)。
-
Cloudflare clef:新推出的 clef-omni 支持音频、视频、图像和文本输入。clef-flash 的价格现已低于 Jev,且 clef 整体速度约为原来的 2 倍(@michellechen)。模型权重已发布至 Hugging Face。
-
Liquid d1:现已接入 Vercel AI Gateway,并为分类、路由和评分任务提供视觉支持(@vercel_dev)。
-
服务与路由:vLLM Semantic Router 的 Decision 2.0 版本可在单次处理中回答关于同一输入的多个问题,并返回每个选项的概率(@vllm_project)。LangSmith 使用 Jev 作为评判器,针对每条 trace 分别返回关于难度和正确性的独立类型化答案(@hwchase17)。
-
自主训练:Unsloth 发布了一个免费 Notebook,可在 8GB VRAM 上将 Qwen3.5-4B 转化为决策模型(@UnslothAI)。另一份关于 Qwen3.5-0.8B 的教程显示,经过 60 步训练后,准确率从 37% 提升至 65%,耗时约 10 分钟,仅需 4GB VRAM(@akshay_pachaar)。
-
为何 Agent Harness 需要此功能:许多 Agent 步骤本质上是是非判断而非生成任务。LangChain 表示,将每项任务路由至最经济且满足要求的模型,可使 Open SWE 的单任务中位成本降低 64%(@hwchase17)。
-
相关研究:Apple/CMU 的基于选择的结构化推理(SSR)将同样的理念应用于智能体内部 (@ZhihuFrontier)。
-
方法:六种自然语言策略通过单次批量前向传播进行评分,采用长度归一化的对数似然值,并共享 KV 缓存。
-
结果:单轮推理延迟降低超过 90%,但每个问题的端到端延迟仅降低 28–54%。在 Qwen3-VL-4B 上使用 GRPO 时,平均成功率为 61.37%,而 TAPO+GSPO 基线为 61.25%。
多智能体编排与编码工具
-
Claude Managed Agents 动态工作流(公测版):由一个主导智能体编写分阶段计划,将其分发至每次运行最多 1,000 个智能体,随后合并结果。该功能通过
multiagent_20261001启用 (@ClaudeDevs, 配置)。 -
成本警告:Anthropic 建议从范围受限的任务开始,因为 token 消耗可能很高 (指南)。
-
Claude Code Projects:所有处于等待名单中的 Pro 和 Max 用户均已获准加入。每个项目将任务作为并行线程运行 (@ClaudeDevs),且会话现在可在本地运行 (@gem_ray)。
-
Opus 5.5 快速模式:已推出,但按使用额度计费,不包含在订阅服务中 (@theo)。
-
智能体团队是否值得投入?:Vals AI 在 Vibe Code Bench 上单独以及以团队形式测试了 GPT-6 Sol 和 Opus 5.5 (@ValsAI)。
-
结果:团队模式的成本高出 1.8–5.1 倍。仅在中等努力程度下,Sol 表现出显著提升,提高了 7.3 分。
-
行为表现:Sol 沿架构维度并行委派任务。Opus 则执行顺序波次,在最高努力程度下,每个应用大约启动 6.8 个子智能体,产生约 1,140 次子智能体工具调用,但未带来显著收益 (详情)。
-
Prime Agent 用 Rust 重写自身:在两周内,超过 2,000 个智能体组成的集群使用了 10K+ 沙箱和 200B+ GLM-5.3 tokens。最终成果使可用输入速度提升约 13 倍,启动内存占用减少 83% (@PrimeIntellect)。随附的一篇论文指出,上下文限制必然导致智能体集群的出现 (论文)。
-
Codex 更新:
-
Windows 沙箱:基于 Microsoft Execution Containers (MXC) 构建的新模式,可实现更快的环境搭建、网络策略强制执行以及细粒度的文件控制 (@OpenAIDevs)。
-
Composer 预测功能:Codex 现在会建议你的下一条消息,目前仅向 Pro 用户开放 Beta 测试(公告)。部分用户批评该功能仅限 Pro 用户使用 (@Angaisb_)。
-
可靠性:有用户抱怨出现了长达一天的服务中断 (@dzhng)。
-
用户情绪:DHH 表示,GPT-6.1 Sol 让 Codex 取代 Claude 成为他的主要工具 (@dhh)。
-
Devin 与 Grok Bot:Devin 现在可以生成受管理的 Devin 树状结构,因此总耗时取决于最慢的分支而非所有分支之和 (@devindevelopers)。此外,Devin 也支持使用个人版 ChatGPT 订阅来调用 GPT 模型 (@cognition)。另外,Grok Bot 获得了独立的电子邮件地址,用于注册和日程安排 (@bot)。
模型发布与独立评测
-
Qwen-Image-2.1-Turbo(开源权重):这是 7B 参数 Qwen-Image-2.1 的加速版本检查点。它支持 8 步生成 2K 分辨率图像及自然语言编辑,可通过 Diffusers 中的
QwenImage21Pipeline加载,并与 Pro 和 Turbo API 一同发布 (@Alibaba_Qwen)。 -
StepFun Step 5 Preview:这是一个总参数量 600B、激活参数量 27B 的稀疏 MoE 模型,支持 1M 上下文窗口和多模态视觉能力 (@omarsar0)。
-
结果:它在 Hermes Index 上得分 33.89,与 GPT-6 Luna 持平,并在 Nous Portal 上免费开放一周(@NousResearch)。
-
可用性:它登上了 OpenRouter Trending 榜首,该榜单衡量的是使用量而非质量(@kimmonismus)。开源权重将于 10 月 15 日发布。最大输出长度已更正为 64K tokens(更正说明)。
-
Upstage Solar Mini 4:一款拥有 35B 总参数、3B 激活参数的 MoE 模型,支持 524K 上下文窗口,吞吐量为 208 tok/s。其 AAII 得分为 24,在 3B 激活参数规模中表现最佳,仅比 Nemotron 3 Ultra 低一分。它在 Cline 中免费提供(@cline)。
-
Gemini 4 Argon:据报道在 DeepSWE v1.1 基准测试中达到 77.9%,高于 Opus 5.5 的 74.2%。该模型首先向 650+ Fairwind Program 防御者发布,定价为每百万 token 10(@dl_weekly)。
-
信号:Antigravity 中出现了推理努力程度选择器(reasoning-effort selectors)(@testingcatalog),Logan Kilpatrick 表示“Argon 即将到来”(@OfficialLoganK)。
-
未经证实:Business Insider 报道称,内部名为“Carbon”的检查点(checkpoint)在编码任务上的表现接近 Opus 5.5。
-
语音模型:HeyGen Voice 在 Artificial Analysis Controlled Voice TTS 竞技场中以 1,201 的 Elo 分数位居榜首,价格为每百万字符 $30,速度为 40 chars/s(@ArtificialAnlys)。Whistle 是一款 16.9MB 的端侧 STT 模型,据称可与 Whisper base 相媲美(@victormustar)。
-
多轮图像编辑:Artificial Analysis 展示了连续 30 次编辑的效果(@ArtificialAnlys)。
-
结果:Ideogram 4.5 和 FLUX 3 在本地进行编辑,在小幅修改时能保留图像 95% 以上的内容不变。GPT Image 2.5 Sunburst 每轮都会重新渲染大部分画面,仅保留约 20% 的内容不变,因此容易产生漂移。Nano Banana 2.1 则会逐渐变暗。
-
OCR 基准测试:Roboflow 的新基准测试涵盖 48 个模型,其中 GPT-6 Astra 在文本定位方面领先 (@skalskip92)。Datalab 的 OmniParseBench 包含覆盖 90 种语言的 1.6 万个测试用例,其自家模型并未排名第一 (@VikParuchuri)。
-
Arena 汇总:Claude Haiku 5.5 在 WebDev 榜单上排名第 30,定价为 0.50,与 GPT-6 Luna 价格持平,但得分高出 6 分。Mistral Large 4 在 Agent Arena 上排名第 43 (@arena)。在 ARC-AGI-3 上,出现了 59.17% 的新高分 (@arcprize)。
研究、训练与推理系统
-
vLLM 和 SGLang 在 Vera Rubin 上的表现:vLLM 报告称,在 MiniMax M3 上,于 AgentX 中保持同等交互性条件下,其在 GB200 上的吞吐量超过 7.8 倍。这些是初步结果 (@vllm_project)。
-
技术:局部感知 MoE(Locality-aware MoE)利用 CUDA 13.4 的局部域特性,使每个 SM 仅读取本地 HBM,可使 MoE 解码速度提升高达 1.2 倍 (详情)。
-
SGLang:在 128K 上下文长度下,FP8 MLA 速度提升高达 20%,且通过 MoE 尾部融合消除了每个解码步骤中的 276 次启动,带来 5.9% 的端到端性能增益 (@sgl_project)。
-
SemiAnalysis 声称:一份预览版 InferenceX 提交数据显示,相较于 GB300,每吉瓦利润提升 3.2 倍,每美元性能提升高达 10 倍 (@SemiAnalysis_)。
-
TRL v1.15:融合的 LM head 现已默认启用,避免了完整 logits 张量的物化 (@LysandreJik)。
-
结果:在 Gemma 3 1B 上,GRPO 序列长度从 28K 增加到 114K,DPO 从 10K 增加到 59K。在 8K 长度下的峰值内存占用下降 52–82%,训练速度提升约 11%。
-
数据与后训练服务:
-
Datology Curation Studio:声称在 39 个开放数据集上,针对 30B MoE 模型实现了 6 倍的算力增益([@pratyushmaini](https://x.com/pratyushmaini/status/2108587864644870540)。此外,该团队还提到了 Thomson-1 模型,其训练成本仅为 45 万美元,却在直接对比中击败了 GPT-5.6 Sol([@arimorcos](https://x.com/arimorcos/status/2108578519920021944))。
-
Tinker:价格下调幅度高达 70%,长上下文与短上下文定价相同,并新增了 GLM-5.3-Flash 和 DeepSeek-v4.1-Flash 模型([@tinkerapi](https://x.com/tinkerapi/status/2108670587241697771))。
-
DeepSeek 周期性弱点:字节跳动 Seed 团队发现,检索性能取决于 token 相对于压缩步长(compression stride)的位置([@ZhihuFrontier](https://x.com/ZhihuFrontier/status/2108475220298551728))。
-
证据:即使没有 RoPE 或学习到的门控机制,这种模式依然存在,且与步长长度密切相关。
-
解读:V4.1 的步长为 2,虽然减轻了该效应,但并未完全消除它。
-
Agent 研究: