Baseten 开源 joey-1:2B 决策模型实现零 Token 生成路由分类
作者:▲ Marktechpost AI (@Marktechpost)原标题:▲ Baseten just open-sourced joey-1, a 2B decision model that answers routing and classification ques...
78AI 研判分
Baseten 发布并开源了仅 20 亿参数的决策模型 joey-1,该模型通过单次预填充直接输出校准概率,无需生成任何文本 Token。在 Jev 决策指数测试中,joey-1 以 63.30 分成为 4B 以下最佳模型,推理延迟低至 20ms,为智能体路由和分类任务提供了极具性价比的轻量级解决方案。
报道正文
▲ Marktechpost AI · 2026-10-29 21
▲ Baseten 刚刚开源了 joey-1,这是一个 2B 参数的决策模型,无需生成任何 token 即可回答路由和分类问题。
其核心思路很简单:你发送一个状态加上带类型的问题(选择题、是/否题、评分题)。joey-1 在单次共享的预填充(prefill)中读取所有内容,并为每个选项返回经过校准的概率。无需解析文本,也没有生成开销。
数据表现(自报):在 Jev Decision Index 0.4 公开测试集上得分 63.30,排名 230 个模型中的第 37 位,也是 4B 以下参数规模中最强的模型。这一成绩超过了同价位($0.01)的 Perplexity Decider Flash v1.2(60.06)。不过这也是一种权衡:它在所有领域均落后于其 9B 参数的“兄弟”模型 elephant-1 8.94 分(63.30 vs 72.24)。
Baseten 报告称,对于 2,000 token 的请求,P50 延迟为 20 ms,比 elephant-1 快约 2.5 倍。每百万输入 token 收费 $0.01,MIT 许可证权重已发布至 Hugging Face,支持在单张 CUDA GPU 上自托管……
完整分析:
