Marktechpost (@Marktechpost)T2·78 分
Baseten 开源 joey-1:2B 决策模型实现零 Token 生成路由分类
原标题:▲ Baseten just open-sourced joey-1, a 2B decision model that answers routing and classification ques...
- joey-1 采用“读取状态+类型化问题”范式,通过单次预填充返回概率分布,彻底消除文本解析开销与生成成本。
- 在 Jev 决策指数中得分 63.30,位列 4B 以下参数规模第一,性能超越同价位的 Perplexity Decider Flash v1.2。
- 推理速度极快,2000 token 请求的 P50 延迟仅为 20ms,比其 9B 兄弟模型 elephant-1 快约 2.5 倍。
- MIT 许可证开源权重已上传至 Hugging Face,支持单张 CUDA GPU 自托管,输入成本低至 $0.01/百万 token。